Mes aprašyti Hadoop setup vieno mazgo ir kelių mazgas. The Hadoop environment setup and configuration will be described in details. Pirmiausia jūs turite atsisiųsti šią programinę įrangą (min).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Vienas mazgas sistema Hadoop nustatymas
1) "Red Hat arba CentOS įdiegti JDK 5+ sistema.
$ ./jdk-6u26-linux-x64 rpm.bin.sh
"Java" yra įdiegta ir nustatyti JAVA_HOME / usr / java / default
2) Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.I386.rpm
3) Setup Apache Hadoop konfigūracija ir pradėti Hadoop procesai.
$ /usr / sbin / Hadoop-setup-vieno node.sh
Sąrankos vedlys padės jums per klausimų sąrašą sąrankos Hadoop. Hadoop turėtų būti paleistas Po atsakyti "Taip" į visus klausimus.
Sukurti vartotojo sąskaitą HDF sau.
$ /usr / sbin / Hadoop-sukurti-user.sh-u $ USER
B) Multi-mazgai Hadoop nustatymas
1) Įdiegti JDK ir Hadoop 0.20.204.0 RPM apie visų mazgų
2) Sukurti Hadoop konfigūraciją visų mazgų:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url = hdfs://${namenode}:9000/ \
--jobtracker url = ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--hdfs-dir = / var / lib / Hadoop / hdfs \
--namenode-dir = / var / lib / Hadoop / hdfs / namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--datanode-dir = / var / lib / Hadoop / hdfs / duomenų \
--log-dir = / var / log / Hadoop \
--Auto
Kur ${namenode} ir ${jobtracker} turėtų būti pakeisti hostname namenode ir jobtracker.
3) Formatas namenode ir montavimas nutylėjimą HDF išdėstymas.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Pradėti visus duomenų mazgų.
$ /etc / init.d / Hadoop datanode pradžia
5) Pradėti darbo tracker mazgas.
$ /etc / init.d / Hadoop jobtracker pradžia
6) Pradėti užduočių tracker mazgų.
$ /etc / init.d / Hadoop užduotis Trekerio starteris
7) Sukurti vartotojo sąskaitą HDF sau.
$ /usr / sbin / Hadoop-sukurti-user.sh-u $ USER
C) Sąrankos Aplinka Hadoop
$ vi ~ /. Bash_profile
INSERT MODE SET kelias JAVA_HOME
Eksporto JAVA_HOME
Išsaugokite failą spustelėdami esc:wq
Paleisti. Bash_profile
$ šaltinis ~ /. Bash_profile
Hadoop aplinkos failą Nustatyti JAVA_HOME kelią
$ /etc / Hadoop / Hadoop-env.sh
D) Konfigūracija Hadoop
Naudokite šį:
conf / pagrindinio site.xml:
| <konfigūracija> |
| <turtas> |
| <pavadinimas>fs.default.name</pavadinimas> |
| <vertė>HDF://localhost:9000</vertė> |
| </turtas> |
| </konfigūracija> |
conf / HDF-site.xml:
| <konfigūracija> |
| <turtas> |
| <pavadinimas>dfs.replication</pavadinimas> |
| <vertė>1</vertė> |
| </turtas> |
| </konfigūracija> |
conf / mapred-site.xml:
| <konfigūracija> |
| <turtas> |
| <pavadinimas>mapred.job.tracker</pavadinimas> |
| <vertė>localhost:9001</vertė> |
| </turtas> |
| </konfigūracija> |
Jis) Hadoop Komandos
$ Hadoop
$ Hadoop namenode-formatas (Formatuoti namenode, Jei Siūlyti
atsakyti paspauskite "Y")
$ Hadoop NameNode (Pradėti namenode)
$ rasti / -vardo pradžią dfs.sh (rasti failą kataloge)
$ cd usr / sbin (Eiti į atitinkamą katalogą tiesiogiai)
$ pradėti dfs.sh
$ pradžios mapred.sh
$ Hadoop FS-ls / (Rodo HDF aplanke)
$ hadooop fs-įdėti input/file01 / input/file01 (Kopijuoti vietos input/file01
HDF šaknis / input/file01)
