Mēs aprakstīt Hadoop iestatīšanu uz vienu mezglu un vairāku mezglu. The Hadoop environment setup and configuration will be described in details. Vispirms jums ir nepieciešams, lai lejupielādētu šo programmatūru (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Viena mezgla sistēma Hadoop iestatīšana
1) Instalēt JDK par Red Hat vai CentOS 5+ sistēma.
$ ./JDK-6u26-linux-x64 rpm.bin.sh
Java ir instalēta un iestatīts uz / usr / java / noklusējums JAVA_HOME
2) Instalēt Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Uzstādīšana Apache Hadoop konfigurāciju un starta Hadoop procesi.
$ /usr / sbin / hadoop-setup-viena node.sh
Uzstādīšanas vednis palīdzēs jums, izmantojot jautājumu sarakstu, lai iestatīšanas Hadoop. Hadoop būtu darboties pēc tam, atbildot "Y" uz visiem jautājumiem.
Izveidot lietotāja kontu HDFS sev.
$ /usr / sbin / hadoop-create-user.sh-U $ USER
B) Multi-mezgli Hadoop iestatīšana
1) Uzstādīt gan JDK un Hadoop 0.20.204.0 RPMs par visiem mezgliem
2) Ģenerēt hadoop konfigurācija visu mezglu:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Kur ${namenode} un ${jobtracker} būtu jāaizstāj ar resursdatora namenode un jobtracker.
3) Formāts namenode un uzstādīšana noklusējuma HDFS izkārtojums.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Sāktu visus datu mezglus.
$ /etc / init.d / hadoop-datanode sākums
5) Sāktu darbu trakera mezglā.
$ /etc / init.d / hadoop-jobtracker sākums
6) Starta uzdevuma tracker mezglus.
$ /etc / init.d / Hadoop-uzdevumu Tracker starteris
7) Izveidot lietotāja kontu HDFS sev.
$ /usr / sbin / hadoop-create-user.sh-U $ USER
C) Uzstādīšana Vide Hadoop
$ vi ~ /. Bash_profile
Jo INSERT režīmā noteiktā ceļu uz JAVA_HOME
Eksporta JAVA_HOME
Saglabāt failu, noklikšķinot ESC:WQ
Palaist. Bash_profile
$ avots ~ /. Bash_profile
Set JAVA_HOME ceļu Hadoop Vides failā
$ /etc / Hadoop / Hadoop-env.sh
D) Konfigurācija Hadoop
Izmantot šādiem:
conf / core-site.xml:
| <konfigurācija> |
| <īpašums> |
| <nosaukums>fs.default.name</nosaukums> |
| <vērtība>HDFS://localhost:9000</vērtība> |
| </īpašums> |
| </konfigurācija> |
conf / HDFS-site.xml:
| <konfigurācija> |
| <īpašums> |
| <nosaukums>dfs.replication</nosaukums> |
| <vērtība>1</vērtība> |
| </īpašums> |
| </konfigurācija> |
conf / mapred-site.xml:
| <konfigurācija> |
| <īpašums> |
| <nosaukums>mapred.job.tracker</nosaukums> |
| <vērtība>localhost:9001</vērtība> |
| </īpašums> |
| </konfigurācija> |
Tā) Hadoop komandas
$ hadoop
$ hadoop namenode formāta (Formatējiet namenode, Ja lūgt
atbildēt preses 'Y')
$ hadoop NameNode (Sāktu namenode)
$ atrast / -nosaukt start-dfs.sh (atrast failu direktorijā)
$ cd usr / sbin (Iet uz attiecīgo direktoriju tieši)
$ start-dfs.sh
$ start-mapred.sh
$ hadoop FS-ls / (Parāda HDFS saknes mapi)
$ hadooop FS-likt input/file01 / input/file01 (Kopēt vietējo input/file01 uz
HDFS saknes / input/file01)
