Popíšeme Hadoop inštaláciu na jednom uzle a viac počítačov. The Hadoop environment setup and configuration will be described in details. Najprv musíte stiahnuť nasledujúci softvér (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Jediný uzol systém Hadoop nastavenia
1) Inštalácia JDK na Red Hat alebo CentOS 5+ systém.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java je nainštalovaná a nastavená JAVA_HOME na / usr / java / default
2) Inštalácia Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Nastavenie Apache Hadoop konfiguráciu a spustenie Hadoop procesy.
$ /usr / sbin / Hadoop-setup-single-node.sh
Sprievodca nastavením vás prevedie zoznam otázok, ktoré nastavenie Hadoop. Hadoop by mal byť spustený po zodpovedaní 'Y' na všetky otázky.
Vytvorte užívateľský účet na HDFS pre seba.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-uzly Hadoop nastavenie
1) Nainštalujte ako JDK a Hadoop 0.20.204.0 RPM vo všetkých uzloch
2) Generovať Hadoop konfiguráciu na všetkých uzloch:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url = HDFS://${namenode}:9000/ \
--jobtracker url = ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--HDFS-dir = / var / lib / Hadoop / HDFS \
--namenode-dir = / var / lib / Hadoop / HDFS / namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--datanode-dir = / var / lib / Hadoop / HDFS / dáta \
--log-dir = / var / log / Hadoop \
--auto
Kde ${namenode} a ${jobtracker} by mal byť nahradený hostname namenode a jobtracker.
3) Formát namenode a nastavenia predvolené HDFS layout.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Dátum všetky dátové uzly.
$ /etc / init.d / hadoop-datanode štart
5) Dátum úlohy Tracker uzol.
$ /etc / init.d / Hadoop-jobtracker začiatok
6) Dátum uzly úloh Tracker.
$ /etc / init.d / Hadoop-task tracker starter
7) Vytvorte užívateľský účet na HDFS pre seba.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Nastavenie prostredia pre Hadoop
$ Aj ~ /. Bash_profile
V režime vkladania nastavenej cesty pre JAVA_HOME
Export JAVA_HOME
Uložte súbor kliknutím na tlačidlo esc:WQ
Spustiť. Bash_profile
$ zdroj ~ /. bash_profile
Nastaviť JAVA_HOME cestu v súbore prostredí Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Konfigurácia pre Hadoop
Použite nasledujúce:
conf / core-site.xml:
| <konfigurácia> |
| <nehnuteľnosť> |
| <názov>fs.default.name</názov> |
| <hodnota>HDFS://localhost:9000</hodnota> |
| </nehnuteľnosť> |
| </konfigurácia> |
conf / HDFS-site.xml:
| <konfigurácia> |
| <nehnuteľnosť> |
| <názov>dfs.replication</názov> |
| <hodnota>1</hodnota> |
| </nehnuteľnosť> |
| </konfigurácia> |
conf / mapred-site.xml:
| <konfigurácia> |
| <nehnuteľnosť> |
| <názov>mapred.job.tracker</názov> |
| <hodnota>localhost:9001</hodnota> |
| </nehnuteľnosť> |
| </konfigurácia> |
To) Hadoop Príkazy
$ Hadoop
$ Hadoop namenode-format (Formátovanie namenode, Ak požiadajte o
Odpoveď stlačte 'Y')
$ hadoop namenode (Spustite namenode)
$ nájsť / -meno start-dfs.sh (nájsť súbor v adresári)
$ cd usr / sbin (Prejsť na príslušného adresára priamo)
$ start-dfs.sh
$ start-mapred.sh
$ Hadoop fs-ls / (Zobrazuje koreňovú zložku HDFS)
$ hadooop fs-dal input/file01 / input/file01 (Kopírovať lokálne input/file01 na
HDFS root / input/file01)
