Mi ćemo opisati Hadoop postava na jednom čvoru i više čvor. The Hadoop environment setup and configuration will be described in details. Prvo morate preuzeti sljedeće softvera (min).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Jedan čvor sustav Hadoop postava
1) Instalirajte JDK na Red Hat ili CentOS 5+ sistem.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java je instaliran i postavljen JAVA_HOME u / usr / java / default
2) Instalacija Apache Hadoop 0.20.204.
$ rpm-ja hadoop-0.20.204.0-1.i386.rpm
3) Postavljanje Apache Hadoop konfiguracija i start Hadoop procesi.
$ /usr / sbin / hadoop-setup-singl-node.sh
Čarobnjak će vas voditi kroz popis pitanja za postavljanje Hadoop. Hadoop trebao biti pokrenut nakon odgovaranja "Y" na sva pitanja.
Napravite korisnički račun na HDF-ovi za sebe.
$ /usr / sbin / hadoop-create-user.sh-u. $ USER
B) Multi-čvorovi Hadoop postava
1) Instalacija i JDK i Hadoop 0.20.204.0 Okretaja na svim čvorovima
2) Generirajte hadoop konfiguraciju na svim čvorovima:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url = HDF-ovi://${namenode}:9000/ \
--jobtracker url = ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--HDF-ovi-dir = / var / lib / Hadoop / HDF-ovi \
--namenode-dir = / var / lib / Hadoop / HDF-ovi / namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--DataNode-dir = / var / lib / Hadoop / HDF-ovi / data \
--log-dir = / var / log / Hadoop \
--auto
Gdje ${namenode} i ${jobtracker} treba zamijeniti s hostname namenode i jobtracker.
3) Format namenode i postava zadana HDF-ovi izgleda.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Početak svih čvorova podataka.
$ /etc / init.d / hadoop-datanode početak
5) Započnite posao tracker čvor.
$ /etc / init.d / hadoop-jobtracker početak
6) Početak čvorova tracker zadataka.
$ /etc / init.d / Hadoop-zadatak tracker startera
7) Napravite korisnički račun na HDF-ovi za sebe.
$ /usr / sbin / hadoop-create-user.sh-u. $ USER
C) Postavljanje Okoliš za Hadoop
$ vi ~ /. bash_profile
U INSERT putu mod podešen za JAVA_HOME
Izvoz JAVA_HOME
Spremite datoteku klikom esc:wq
Pokrenite. Bash_profile
$ izvor ~ /. bash_profile
Postavite JAVA_HOME put u Hadoop okoliša datoteku
$ /etc / Hadoop / Hadoop-env.sh
D) Konfiguracija za Hadoop
Koristite sljedeće:
conf / core-site.xml:
| <konfiguracija> |
| <vlasništvo> |
| <ime>fs.default.name</ime> |
| <vrijednost>HDF-ovi://localhost:9000</vrijednost> |
| </vlasništvo> |
| </konfiguracija> |
conf / HDF-ovi-site.xml:
| <konfiguracija> |
| <vlasništvo> |
| <ime>dfs.replication</ime> |
| <vrijednost>1</vrijednost> |
| </vlasništvo> |
| </konfiguracija> |
conf / mapred-site.xml:
| <konfiguracija> |
| <vlasništvo> |
| <ime>mapred.job.tracker</ime> |
| <vrijednost>localhost:9001</vrijednost> |
| </vlasništvo> |
| </konfiguracija> |
To) Hadoop Naredbe
$ hadoop
$ hadoop namenode formata (Oblikujte namenode, Ako zatražite
odgovoriti na press 'D')
$ Hadoop namenode (Pokrenite namenode)
$ pronaći / -ime start-dfs.sh (pronašli datoteku u direktorij)
$ cd usr / sbin (Idi na odgovarajući direktorij izravno)
$ start-dfs.sh
$ start-mapred.sh
$ hadoop fs-LS / (Pokazuje mapu HDF-ovi root)
$ hadooop FS-staviti input/file01 / input/file01 (Kopirajte lokalne input/file01 na
HDF-ovi korijena / input/file01)
