Opisali bomo Hadoop nastavitev na enem vozlišču vozlišče in več. The Hadoop environment setup and configuration will be described in details. Najprej morate prenesti naslednjo programsko opremo (min).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Enotni vozlišče sistem Hadoop namestitev
1) Namestitev JDK na Red Hat ali CentOS 5+ Sistem.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java je nameščena in nastavljena JAVA_HOME / usr / java / default
2) Namestitev Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Namestitev Apache Hadoop konfiguracijo in začne Hadoop procesi.
$ /usr / sbin / Hadoop-setup-en-node.sh
Čarovnik vas bo vodil skozi seznam vprašanj za namestitev Hadoop. Hadoop je treba vožnjo po odgovoru 'Y' na vsa vprašanja.
Ustvari svoj uporabniški račun na HDFS zase.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-vozlišča Hadoop nastavitev
1) Namestite tako JDK in Hadoop 0.20.204.0 Narejeni na vseh vozliščih
2) Ustvari Hadoop konfiguracije na vseh vozliščih:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker url = ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--HDF-dir = / var / lib / Hadoop / HDF \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--datanode-dir = / var / lib / Hadoop / HDF / podatki \
--log-dir = / var / log / Hadoop \
--auto
Če ${namenode} in ${jobtracker} treba nadomestiti z imenom gostitelja namenode in jobtracker.
3) Format namenode in nastavitev privzeto postavitev HDFS.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Začnite vseh podatkovnih vozlišč.
$ /etc / init.d / Hadoop-datanode začetek
5) Začnite vozlišče delovnih tracker.
$ /etc / init.d / Hadoop-jobtracker začetek
6) Začetek vozlišča Tracker opravil.
$ /etc / init.d / Hadoop-naloga tracker starter
7) Ustvari svoj uporabniški račun na HDFS zase.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Nastavitev Okolje za Hadoop
$ vi ~ /. bash_profile
V INSERT poti nastavljen za JAVA_HOME
Izvoz JAVA_HOME
Shranite datoteko s klikom esc:wq
Zagon. Bash_profile
$ Vir ~ /. bash_profile
Nastavite JAVA_HOME poti v okolje datoteke Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Konfiguracija za Hadoop
Uporabite naslednji:
conf / core-site.xml:
| <Konfiguracija> |
| <nepremičnine> |
| <Ime>fs.default.name</Ime> |
| <vrednost>hdfs://localhost:9000</vrednost> |
| </nepremičnine> |
| </Konfiguracija> |
conf / hdfs-site.xml:
| <Konfiguracija> |
| <nepremičnine> |
| <Ime>dfs.replication</Ime> |
| <vrednost>1</vrednost> |
| </nepremičnine> |
| </Konfiguracija> |
conf / mapred-site.xml:
| <Konfiguracija> |
| <nepremičnine> |
| <Ime>mapred.job.tracker</Ime> |
| <vrednost>localhost:9001</vrednost> |
| </nepremičnine> |
| </Konfiguracija> |
To) Hadoop ukazi
$ Hadoop
$ Hadoop namenode formata (Oblikujte namenode, Če zaprosi za
answer pritisnite 'Y')
$ Hadoop NameNode (Začnite namenode)
$ je bil / -ime začetni dfs.sh (našli datoteko v imenik)
$ cd usr / sbin (Pojdi na ustrezni imenik neposredno)
$ začetek dfs.sh
$ start-mapred.sh
$ Hadoop fs-ls / (Prikazuje mape korenin HDFS)
$ hadooop fs-dal input/file01 / input/file01 (Kopiranje lokalnega input/file01 do
HDFS root / input/file01)
