Θα περιγράψουμε Hadoop ρύθμιση για ενιαίο κόμβο και κόμβο πολλαπλών. The Hadoop environment setup and configuration will be described in details. Πρώτα θα πρέπει να κατεβάσετε το παρακάτω λογισμικό (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
Ένα) Ενιαία κόμβο σύστημα Hadoop εγκατάστασης
1) Εγκατάσταση JDK σε Red Hat ή CentOS 5+ σύστημα.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java είναι εγκατεστημένη και να JAVA_HOME στο / usr / java / default
2) Εγκατάσταση Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Ρύθμιση Apache Hadoop διαμόρφωση και την έναρξη των διαδικασιών Hadoop.
$ /usr / sbin / Hadoop-setup-single-node.sh
Ο οδηγός εγκατάστασης θα σας καθοδηγήσει μέσα από μια λίστα ερωτήσεων για εγκατάσταση Hadoop. Hadoop θα πρέπει να λειτουργεί μετά την απάντηση «Y» σε όλες τις ερωτήσεις.
Δημιουργήστε ένα λογαριασμό χρήστη για ΚΑΕ για τον εαυτό σας.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
Β) Multi-κόμβους ρύθμισης Hadoop
1) Εγκαταστήστε τόσο το JDK και Hadoop 0.20.204.0 RPMs σε όλους τους κόμβους
2) Δημιουργία διαμόρφωση Hadoop σε όλους τους κόμβους:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Όπου ${namenode} και ${jobtracker} θα πρέπει να αντικατασταθεί με το hostname του namenode και jobtracker.
3) Μορφή namenode και προεπιλεγμένες ρυθμίσεις ΚΑΕ διάταξη.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Ξεκινήστε όλους τους κόμβους δεδομένων.
$ /etc / init.d / Hadoop-datanode έναρξη
5) Ξεκινήστε τη δουλειά tracker κόμβο.
$ /etc / init.d / Hadoop-jobtracker έναρξη
6) Ξεκινήστε κόμβους έργο tracker.
$ /etc / init.d / Hadoop-έργο tracker μίζα
7) Δημιουργήστε ένα λογαριασμό χρήστη για ΚΑΕ για τον εαυτό σας.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Περιβάλλον Ρύθμιση για Hadoop
$ vi ~ /. bash_profile
Στην πορεία που INSERT τρόπος για JAVA_HOME
Εξαγωγή JAVA_HOME
Αποθηκεύστε το αρχείο κάνοντας κλικ esc:wq
Εκτελέστε το. Bash_profile
$ πηγή ~ /. bash_profile
Ορισμός JAVA_HOME διαδρομή στο αρχείο Περιβάλλον Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Ρύθμιση για Hadoop
Χρησιμοποιήστε την ακόλουθη:
conf / πυρήνα site.xml:
| <διαμόρφωση> |
| <περιουσία> |
| <όνομα>fs.default.name</όνομα> |
| <αξία>ΚΑΕ://localhost:9000</αξία> |
| </περιουσία> |
| </διαμόρφωση> |
conf / ΚΑΕ-site.xml:
| <διαμόρφωση> |
| <περιουσία> |
| <όνομα>dfs.replication</όνομα> |
| <αξία>1</αξία> |
| </περιουσία> |
| </διαμόρφωση> |
conf / mapred-site.xml:
| <διαμόρφωση> |
| <περιουσία> |
| <όνομα>mapred.job.tracker</όνομα> |
| <αξία>localhost:9001</αξία> |
| </περιουσία> |
| </διαμόρφωση> |
Το) Εντολές Hadoop
$ Hadoop
$ Hadoop namenode-format (Διαμορφώστε την namenode, Αν ζητήσει να
απαντήσει τύπου «Υ»)
$ Hadoop NameNode (Ξεκινήστε την namenode)
$ βρίσκω / -αναφέρουμε έναρξη dfs.sh (βρείτε το αρχείο στον κατάλογο)
$ cd usr / sbin (Πηγαίνετε στο αντίστοιχο κατάλογο άμεσα)
$ έναρξη dfs.sh
$ έναρξη mapred.sh
$ Hadoop fs-ls / (Εμφανίζει το φάκελο ΚΑΕ)
$ hadooop fs-βάλει input/file01 / input/file01 (Αντιγράψτε τοπική input/file01 να
ΚΑΕ root / input/file01)
