TechAlpine – All About Technology

Επισκόπηση: Γνωρίζουμε πολύ καλά τα χαρακτηριστικά του Hadoop και ΚΑΕ. Σε αυτό το έγγραφο θα μιλήσουμε για την ομοσπονδία ΚΑΕ η οποία μας βοηθά να ενισχύσει την υπάρχουσα αρχιτεκτονική ΚΑΕ. Παρέχει μια σαφής διαχωρισμός μεταξύ ονομάτων και αποθήκευση ως εκ τούτου επιτρέπει την επεκτασιμότητα και απομόνωση σε επίπεδο συμπλέγματος.

Εισαγωγή: Hadoop ομοσπονδία διαχωρίζει το namespace στρώμα και στρώμα αποθήκευσης. Δίνει τη δυνατότητα στο στρώμα αποθήκευσης μπλοκ. Επεκτείνει επίσης την αρχιτεκτονική ενός υπάρχον σύμπλεγμα ΚΑΕ να επιτρέψει νέες εφαρμογές και περιπτώσεις χρήσης. Η τρέχουσα αρχιτεκτονική ΚΑΕ έχει δύο στρώματα -

• namespace - Αυτό το στρώμα διαχειρίζεται τα αρχεία, καταλόγους και μπλοκ. Αυτό το στρώμα υποστηρίζει τις βασικές λειτουργίες του συστήματος αρχείων π.χ.. λίστα των αρχείων, δημιουργία αρχείων, τροποποίηση των αρχείων και διαγραφή αρχείων και φακέλων.
• Μπλοκ αποθήκευσης - Αυτό το στρώμα έχει δύο μέρη -
  • Διαχείριση μπλοκ Αυτό διαχειρίζεται τα datanodes στο ταμπλό και παρέχει λειτουργίες όπως η δημιουργία, διαγραφή, τροποποίηση και αναζήτηση. Λαμβάνει επίσης φροντίδα της διαχείρισης αντιγραφής.
  • φυσική Αποθήκευση Αυτό αποθηκεύει τα μπλοκ και παρέχει πρόσβαση για να διαβάσει ή να γράψει επιχειρήσεις.

Figure 1: Ένα σύμπλεγμα ΚΑΕ

Στην τρέχουσα αρχιτεκτονική ΚΑΕ, έχουμε μόνο ένα χώρο ονομάτων για το σύνολο του συμπλέγματος το οποίο διοικείται από έναν κόμβο όνομα. Χρησιμοποιώντας αυτή την προσέγγιση γίνεται πιο εύκολο να εφαρμόσει το σύμπλεγμα ΚΑΕ. Αυτή η διαστρωμάτωση της αρχιτεκτονικής λειτουργεί το πρόστιμο για μικρότεροι σχηματισμοί, ενώ για τις μεγαλύτερες οργανώσεις, όπου θα πρέπει να ληφθεί μέριμνα σε μια γρήγορη ταχύτητα ένα τεράστιο όγκο των δεδομένων, π.χ.. Yahoo και το Facebook, διαπιστώθηκε ότι αυτή η προσέγγιση έχει κάποιους περιορισμούς που διεκπεραιώνονται από την ομοσπονδία Hadoop. Έτσι Hadoop ομοσπονδία μπορεί να οριστεί ως η προηγμένη αρχιτεκτονική για να ξεπεραστούν οι περιορισμοί της τρέχουσας εφαρμογής ΚΑΕ.

Ας ελέγξει τα όρια, όπως εξηγείται παρακάτω -

• Στενά συνδεδεμένες μπλοκ αποθήκευσης και χώρος ονομάτων - Στην τρέχουσα αρχιτεκτονική η αποθήκευση μπλοκ και το χώρο ονομάτων είναι στενά συνδεδεμένες η οποία καθιστά τις εναλλακτικές εφαρμογές των κόμβων όνομα προκλητική και περιορίζει άλλες υπηρεσίες για να χρησιμοποιήσουν άμεσα την αποθήκευση μπλοκ.
• Namespace Επεκτασιμότητα - Το σύμπλεγμα ΚΑΕ κλιμακώνεται οριζοντίως, με την προσθήκη datanodes αλλά δεν μπορούν να προσθέσουν περισσότερο χώρο ονομάτων σε ένα υπάρχον σύμπλεγμα οριζόντια. Μπορούμε να αναβαθμίσουν namespace κάθετα σε ένα ενιαίο namenode. Η namenode αποθηκεύει την πλήρη μεταδεδομένα σύστημα αρχείων μέσα στη μνήμη της, η οποία περιορίζει τον αριθμό των μπλοκ, τα αρχεία και τους καταλόγους που θα υποστηρίζεται από το σύστημα αρχείων που πρέπει να φιλοξενηθούν στη μνήμη του ενιαίου namenode.

• επιδόσεις - Οι τρέχουσες λειτουργίες του συστήματος αρχείων περιορίζεται στην απόδοση ενός μοναδικού κόμβου όνομα το οποίο προς το παρόν στηρίξεις 60000 ταυτόχρονες εργασίες. Αλλά η νέα έρχονται χάρτη μειωθεί από Apache θα έχει υποστήριξη για περισσότερες από 100000 ταυτόχρονες εργασίες και έτσι θα απαιτούν πολλαπλούς κόμβους.

• απομόνωση - Σε γενικές γραμμές οι αναπτύξεις ΚΑΕ είναι διαθέσιμα σε μια πολυ-ενοικιαστή περιβάλλον όπου ένα ενιαίο σύμπλεγμα μοιράζεται από πολλούς οργανισμούς. Με αυτή τη ρύθμιση ένα ξεχωριστό χώρο ονομάτων δεν είναι δυνατό για μια εφαρμογή ή μια οργάνωση.

ΚΑΕ Ομοσπονδία:

Hadoop ομοσπονδία επιτρέπει την κλιμάκωση της υπηρεσίας όνομα οριζόντια. Χρησιμοποιεί πολλές namenodes ή χώρους ονομάτων που είναι ανεξάρτητες μεταξύ τους. Αυτά είναι Ανεξάρτητη namenodes ομόσπονδες δηλ. δεν απαιτούν μεταξύ του συντονισμού. Αυτές οι datanodes χρησιμοποιούνται ως κοινή αποθήκη με όλα τα namenodes. Κάθε datanode έχει καταχωρηθεί με όλα τα namenodes του συμπλέγματος. Αυτά datanodes στέλνουν περιοδικές εκθέσεις και ανταποκρίνεται στις εντολές από τους κόμβους όνομα. Έχουμε μια πισίνα μπλοκ το οποίο είναι ένα σύνολο από μπλοκ που ανήκουν σε ένα ενιαίο namespace. Σε ένα σύμπλεγμα, οι datanodes καταστήματα μπλοκ για όλες τις πισίνες μπλοκ. Κάθε πισίνα μπλοκ ανεξάρτητη διαχείριση. Αυτό επιτρέπει το όνομα χώρου για να δημιουργήσει ταυτότητες κατηγορίες για νέες μπλοκ χωρίς την ενημέρωση άλλων ονομάτων. Αν ένα namenode αποτύχει για οποιοδήποτε λόγο, η datanode κρατά στην εξυπηρέτηση άλλων namenodes.

Ένα namespace και το μπλοκ της ονομάζονται συλλογικά namespace Όγκος. Όταν ένας χώρος ονομάτων ή namenode διαγράφεται η αντίστοιχη πισίνα μπλοκ στο datanode διαγράφεται αυτόματα. Κατά τη διαδικασία της διασποράς up-διαβάθμιση, Κάθε τόμος namespace αναβαθμίζεται ως μονάδα.

Figure 2: Μια αρχιτεκτονική ομοσπονδία ΚΑΕ

Οφέλη από Hadoop Ομοσπονδίας:

Hadoop ομοσπονδία έρχεται με μερικά πλεονεκτήματα και τα οφέλη που αναφέρονται ως κάτω -

• Επεκτασιμότητα και απομόνωση - Πολλαπλές namenodes κλίμακες οριζόντια επάνω στο namespace σύστημα αρχείων. Αυτό χωρίζει πραγματικά όγκους namespace για τους χρήστες και τις κατηγορίες της εφαρμογής και παρέχει την απόλυτη απομόνωση.
• Generic Υπηρεσία αποθήκευσης - Η αφαίρεση της πισίνας επίπεδο μπλοκ επιτρέπει η αρχιτεκτονική για την κατασκευή νέων συστημάτων αρχείων στην κορυφή της αποθήκευσης μπλοκ. Μπορούμε εύκολα να δημιουργήσετε νέες εφαρμογές στο στρώμα αποθήκευσης μπλοκ χωρίς τη χρήση του interface του συστήματος αρχείων. Προσαρμοσμένη κατηγορίες πισίνα μπλοκ μπορεί επίσης να κατασκευαστεί η οποία είναι διαφορετική από την προεπιλεγμένη πισίνα μπλοκ.
• Απλή Design - Namenodes και namespaces είναι ανεξάρτητες μεταξύ τους. Δεν υπάρχει σχεδόν κανένα σενάριο που απαιτεί την αλλαγή των υφιστάμενων κόμβων όνομα. Κάθε κόμβος όνομα είναι φτιαγμένο για να είναι ισχυρή. Ομοσπονδίας είναι επίσης συμβατή. Ενσωματώνει εύκολα με τις υπάρχουσες μονά αναπτύξεις κόμβο που δουλεύουν χωρίς αλλαγές διαμόρφωσης.

Διαμόρφωση ΚΑΕ Ομοσπονδία:

Διαμόρφωση του Hadoop Ομοσπονδίας είναι σχεδιασμένο με τέτοιο τρόπο ώστε όλα τα κόμβους του συμπλέγματος έχουν την ίδια διαμόρφωση. Η διαμόρφωση πραγματοποιείται με τα ακόλουθα βήματα -

• Step 1 – Οι ακόλουθες παράμετροι πρέπει να προστεθεί στην υπάρχουσα διαμόρφωση -
  • nameservices - Αυτό διαμορφώνεται με μια λίστα των διαχωρισμένες με κόμμα NameServiceIDs. Αυτή η παράμετρος χρησιμοποιείται από Datanodes για να καθορίσει όλα τα namenodes στο σύμπλεγμα.
• Step 2 – Οι ακόλουθες ρυθμίσεις πρέπει να επίθεμα με το αντίστοιχο αναγνωριστικό υπηρεσίας όνομα στο κοινό αρχείο ρυθμίσεων.
  • Namenode
  • Secondary NameNode
  • BackupNode

Ένα υπόδειγμα αρχείου ρυθμίσεων για δύο namenodes φαίνεται παρακάτω -

Listing 1: Ένα υπόδειγμα αρχείου ρυθμίσεων για δύο κόμβους

[Code]

<διαμόρφωση>

<περιουσία>

<όνομα>dfs.nameservices</όνομα>

<αξία>NS1, NS2</αξία>

</περιουσία>

<περιουσία>

<όνομα>dfs.namenode.rpc-address.ns1</όνομα>

<αξία>nn-host1:6600</αξία>

</περιουσία>

<περιουσία>

<όνομα>dfs.namenode.http-address.ns1</όνομα>

<αξία>nn-host1:8080</αξία>

</περιουσία>

<περιουσία>

<όνομα>dfs.namenode.secondaryhttp-address.ns1</όνομα>

<αξία>NHS-host1:8080</αξία>

</περιουσία>

<περιουσία>

<όνομα>dfs.namenode.rpc-address.ns2</όνομα>

<αξία>nn-αναφέρονται στο σύστημα host2:6600</αξία>

</περιουσία>

<περιουσία>

<όνομα>dfs.namenode.http-address.ns2</όνομα>

<αξία>nn-αναφέρονται στο σύστημα host2:8080</αξία>

</περιουσία>

<περιουσία>

<όνομα>dfs.namenode.secondaryhttp-address.ns2</όνομα>

<αξία>NHS-αναφέρονται στο σύστημα host2:8080</αξία>

</περιουσία>

</διαμόρφωση>

[/Code]

Διαμόρφωση της Namenode: Ας τις εντολές σε μορφή namenode.

• Step 1 – Ένα ενιαίο κόμβο όνομα μπορεί να μορφοποιηθεί χρησιμοποιώντας την ακόλουθη -

$HADOOP_USER_HOME / bin / ΚΑΕ namenode -format [-Αναγνωριστικόσυμπλέγματος <cluster_id>]

Το id του συμπλέγματος πρέπει να είναι μοναδική και δεν πρέπει να έρχονται σε αντίθεση με οποιοδήποτε άλλο έξοδο από id συμπλέγματος. Εάν δεν παρέχεται, ένα μοναδικό αναγνωριστικό σύμπλεγμα δημιουργείται κατά τη στιγμή της μορφοποίησης.

• Step 2 – Πρόσθετες namenode μπορεί να μορφοποιηθεί χρησιμοποιώντας την ακόλουθη εντολή -

$HADOOP_PREFIX_HOME / bin / ΚΑΕ namenode -format -clusterId <cluster_id>

Είναι σημαντικό εδώ ότι η id σύμπλεγμα που αναφέρονται εδώ θα πρέπει να είναι η ίδια από αυτή που αναφέρεται στο βήμα 1. Αν αυτά τα δύο είναι διαφορετικά, η πρόσθετη namenode δεν θα είναι το τμήμα της ομόσπονδης συμπλέγματος.

Έναρξη και διακοπή του συμπλέγματος: Ας ελέγξετε τις εντολές για να ξεκινήσει και να σταματήσει το σύμπλεγμα.

• Ξεκινήστε το σύμπλεγμα - Το σύμπλεγμα μπορεί να ξεκινήσει εκτελώντας την ακόλουθη εντολή -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

• Σταματήστε το σύμπλεγμα - Το σύμπλεγμα μπορεί να σταματήσει εκτελώντας την ακόλουθη εντολή –

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

Προσθέστε μια νέα namenode σε ένα υπάρχον σύμπλεγμα: Έχουμε ήδη περιγραφεί ότι οι πολλαπλές κόμβο όνομα βρίσκεται στο επίκεντρο της Hadoop ομοσπονδίας. Γι 'αυτό είναι σημαντικό να κατανοήσουμε τα βήματα για την προσθήκη νέων κόμβων όνομα και την κλίμακα οριζόντια.
Τα ακόλουθα βήματα που απαιτούνται για να προσθέσετε νέα namenodes -

• Η παράμετρος διαμόρφωσης - nameservices πρέπει να προστεθεί στην διαμόρφωση.
• NameServiceID Πρέπει να επίθεμα στη διαμόρφωση
• Νέα Namenode που σχετίζονται με το config πρέπει να προστεθούν στα αρχεία ρυθμίσεων.
• Το αρχείο ρυθμίσεων θα πρέπει να διαδοθεί σε όλους τους κόμβους του συμπλέγματος.
• Ξεκινήστε τη νέα namenode και τη δευτεροβάθμια namenode
• Ανανεώστε τις άλλες datanodes για να πάρει τη νέα προσθήκη namenode εκτελώντας την ακόλουθη εντολή -

o $HADOOP_PREFIX_HOME/bin/hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>

• Η παραπάνω εντολή πρέπει να εκτελεστεί έναντι όλων datanodes στο σύμπλεγμα.

Summary: ΚΑΕ ομοσπονδία έχει εισαχθεί για να ξεπεράσει τους περιορισμούς των προηγούμενων εφαρμογή ΚΑΕ. Προσθέτοντας επεκτασιμότητα στο στρώμα ονομάτων είναι το πιο σημαντικό χαρακτηριστικό της ΚΑΕ αρχιτεκτονικής ομοσπονδίας. Αλλά ΚΑΕ ομοσπονδία είναι επίσης συμβατή, έτσι ώστε η διαμόρφωση ενιαίου namenode θα λειτουργήσει επίσης χωρίς αλλαγές.
Ας συνοψίσουμε τη συζήτησή μας με τη μορφή των παρακάτω σφαίρες

• ΚΑΕ ομοσπονδία διαχωρίζει το στρώμα namenode και το στρώμα αποθήκευσης.
• ΚΑΕ ομοσπονδία έχει σχεδιαστεί για να ξεπεραστούν οι περιορισμοί της ενιαίας αρχιτεκτονικής κόμβου ΚΑΕ, όπου η αποθήκευση μπορεί να αναβαθμιστεί σε οριζόντια θέση και όχι το χώρο ονομάτων.
• ΚΑΕ ομοσπονδία έρχεται με τα ακόλουθα πλεονεκτήματα -
  • Απομόνωση
  • Scalability
  • απλός σχεδιασμός
• διαμόρφωση ΚΑΕ είναι πολύ απλή και είναι επίσης εύκολο να διαχειριστεί.