ΠΑΡΟΥΣΙΑΣΗ / ΕΞΕΤΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
Γαρεφαλάκης Παναγιώτης
Mεταπτυχιακός Φοιτητής
Τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης
Eπόπτης
Μεταπτ. Εργασίας: Καθηγητής Α.
Μπίλας
Δευτέρα, 21 Ιουλίου 2014, 13:00
Αίθουσα
Τηλεδιάσκεψης Κ206, τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης
" ACaZoo: Ένα κατανεμημένο σύστημα αποθήκευσης δεδομένων βασισμένο σε ομοιοτυπία LSM-Δένδρων
"
ΠΕΡΙΛΗΨΗ
Τα τελευταία χρόνια, τα κατανεμημένα συστήματα αποθήκευσης τα οποία προσφέρουν υψηλή διαθεσιμότητα αποτελούν αναπόσπαστο κομμάτι εφαρμογών που επεξεργάζονται μεγάλο όγκο δεδομένων. Εκδόσεις των εν λόγω συστημάτων αποθήκευσης που προσφέρουν χαλαρή συνέπεια δεδομένων έχουν γίνει δημοφιλείς λόγω της υψηλής διαθεσιμότητας τους, είναι όμως ακατάλληλες για εφαρμογές που απαιτούν ισχυρή συνέπεια. Στην εργασία αυτή περιγράφουμε το σχεδιασμό και την υλοποίηση του ACaZoo, ενός συστήματος αποθήκευσης δεδομένων που συνδυάζει ισχυρή συνέπεια με υψηλή απόδοση και διαθεσιμότητα. Το ACaZoo
υποστηρίζει το δημοφιλές μοντέλο δεδομένων των Apache Casasandra και HBase και υλοποιεί συνεπή ομοιοτυπία δεδομένων (data replication) χρησιμοποιώντας πρωτόκολλα της οικογένειας Paxos καταγράφοντας τις αλλαγές δεδομένων που γίνονται σε ένα LSM-Tree. Το ACaZoo κλιμακώνεται χρησιμοποιώντας όλες τις διαθέσιμες ομάδες αντιγράφων (Ο-Α) και κατανέμει τα δεδομένα στις ΟΑ με βάση το πρωτεύων κλειδί.
Η συγχώνευση δεδομένων στα LSM-Trees μπορεί να μειώσει δραστικά την απόδοση του συστήματος όταν λαμβάνει χώρα στον αρχηγό μιας ΟΑ. Το ACaZoo αντιμετωπίζει αυτό το πρόβλημα εκλέγοντας νέο αρχηγό πριν από κάθε τέτοια λειτουργία, μια μέθοδος που μπορεί να βελτιώσει την απόδοση έως και 60%. Για την περαιτέρω βελτίωση του χρόνου απόκρισης το ACaZoo δρομολογεί τις αιτήσεις από την πλευρά του πελάτη, μια διαδικασία η οποία μπορεί να καθυστερήσει την διάδοση των αλλαγών σε ένα μεγάλο και δυναμικό πληθυσμό πελατών. Αντιμετωπίσαμε αυτό το πρόβλημα προτείνοντας μια βελτιστοποιημένη έκδοση του συστήματος Zookeeper που κατανέμει ισότιμα τους πελάτες στους διακομιστές του. Για την πειραματική μας μελέτη χρησιμοποιήσαμε το Yahoo Cloud Serving
Benchmark (YCSB) και συγκρίναμε την απόδοση του συστήματος μας με τα συστήματα NoSQL Oracle Database και Apache Cassandra. Τέλος μελετήσαμε την απόδοση του CassMail, ενός κλιμακώσιμου e-mail
service, χρησιμοποιώντας το Casssandra και το ACaZoo.
Garefalakis
Panagiotis
M.Sc. Thesis
Computer
Science Department
University of Crete
Master's Thesis Supervisor: Professor Angelos Bilas
Monday, 21/7/2014, 13:00
Room K206, Computer Science dept.,University of Crete
"ACaZoo: A
Distributed Key-Value Store based on Replicated LSM-Trees"
ABSTRACT
Distributed highly-available key-value stores have emerged as
important building blocks for data-intensive applications.
Eventually-consistent versions of such stores have become popular due to their
high availability (”always writeable”) features; they are however
unsuitable for many applications that require strong consistency. In this
thesis we describe the design and implementation of ACaZoo, a key-value store
that combines strong consistency with high performance and high availability.
ACaZoo supports the popular column-oriented data model of Apache Cassandra and
HBase. It implements strongly-consistent data replication using primary-backup
atomic broadcast of a write-ahead log, recording data mutations to a
Log-structured Merge Tree (LSM-Tree). ACaZoo scales by horizontally
partitioning the key space via consistent primary-key hashing over replica
groups (RGs).
LSM-Tree
compactions can hamper performance, especially when they take place at RG
primaries. ACaZoo addresses this problem by changing RG leadership prior to
heavy compactions, a method that can improve throughput by up to 60% in
write-intensive workloads. To further improve response time ACaZoo uses
client-side routing of requests, which is known to complicate the propagation
of configuration changes to a large and dynamic client population. We address
this problem by proposing an optimized version of ZooKeeper that can
load-balance issuing of change notifications across its servers. We evaluate
ACaZoo using the Yahoo Cloud Serving Benchmark (YCSB) and compare it to Oracleʼs NoSQL Database and to
Cassandra providing serial consistency via an extension of the Paxos algorithm.
We further evaluate application performance using CassMail, a scalable e-mail
service, over both ACaZoo and Cassandra.