Kuvaamme Hadoop setup yksi solmu ja moni solmu. The Hadoop environment setup and configuration will be described in details. Ensin sinun täytyy ladata seuraavat ohjelmistot (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Yhden solmun järjestelmä Hadoop asennus
1) Asenna JDK on Red Hat tai CentOS 5+ järjestelmä.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java on asennettu ja määritetty JAVA_HOME / usr / java / default
2) Asenna Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop kokoonpano ja käynnistys Hadoop prosessit.
$ /usr / sbin / Hadoop-setup-single-node.sh
Asennusohjelma opastaa listan kysymyksiä setup Hadoop. Hadoop tulee perässä juokseminen vastaamalla "Y" kaikkiin kysymyksiin.
Luo käyttäjätili HDFS itse.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-solmut Hadoop setup
1) Asentaa sekä JDK ja Hadoop 0.20.204.0 Kierrosluvuilla kaikki solmut
2) Luo Hadoop kokoonpano kaikkiin solmuihin:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Missä ${namenode} ja ${jobtracker} olisi korvattava isäntänimi namenode ja jobtracker.
3) Muotoile namenode ja setup default HDFS layout.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Aloita kaikki tiedot solmut.
$ /etc / init.d / Hadoop-datanode start
5) Aloita työpaikka tracker solmu.
$ /etc / init.d / Hadoop-jobtracker start
6) Aloita tehtävä tracker solmuja.
$ /etc / init.d / Hadoop-tehtävän tracker käynnistin
7) Luo käyttäjätili HDFS itse.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Setup ympäristö Hadoop
$ vi ~ /. bash_profile
Vuonna INSERT tilassa asetettu polku JAVA_HOME
Vie JAVA_HOME
Tallenna tiedosto klikkaamalla esc:WQ
Suorita. Bash_profile
$ source ~ /. bash_profile
Aseta JAVA_HOME polku Hadoop Ympäristö tiedosto
$ /etc / Hadoop / Hadoop-env.sh
D) Kokoonpano Hadoop
Käytä seuraavaa:
conf / core-site.xml:
| <kokoonpano> |
| <omaisuus> |
| <nimi>fs.default.name</nimi> |
| <arvo>HDFS://localhost:9000</arvo> |
| </omaisuus> |
| </kokoonpano> |
conf / HDFS-site.xml:
| <kokoonpano> |
| <omaisuus> |
| <nimi>dfs.replication</nimi> |
| <arvo>1</arvo> |
| </omaisuus> |
| </kokoonpano> |
conf / mapred-site.xml:
| <kokoonpano> |
| <omaisuus> |
| <nimi>mapred.job.tracker</nimi> |
| <arvo>localhost:9001</arvo> |
| </omaisuus> |
| </kokoonpano> |
Se) Hadoop komennot
$ Hadoop
$ Hadoop namenode-muodossa (Alusta namenode, Jos pyytää
vastata paina 'Y')
$ Hadoop NameNode (Aloita namenode)
$ löytää / -Salkunhoitajana-dfs.sh (löytää tiedosto hakemistossa)
$ cd usr / sbin (Siirry vastaaviin hakemistoon suoraan)
$ Käynnistä-dfs.sh
$ start-mapred.sh
$ Hadoop FS-ls / (Näyttää HDFS pääkansiossa)
$ hadooop FS-laittaa input/file01 / input/file01 (Kopioi paikallisia input/file01 ja
HDFS root / input/file01)
