TechAlpine – All About Technology

www.techalpine.com

Kuidas luua Hadoop kohta ühe sõlme ja mitme sõlme?

Me kirjeldame Hadoop setup ühe sõlme ja mitme sõlme. The Hadoop environment setup and configuration will be described in details. Kõigepealt pead alla laadida ka järgmised tarkvara (rpm).

Java JDK RPM
Apache Hadoop 0.20.204.0 RPM

A) Ühe sõlme süsteem Hadoop setup

1) Installi JDK edasi Red Hat või CentOS 5+ süsteem.

$ ./JDK-6u26-linux-x64-rpm.bin.sh

Java on installitud ja määratud JAVA_HOME / usr / java / default

2) Install Apache Hadoop 0.20.204.

$ rpm-i Hadoop-0.20.204.0-1.i386.rpm

3) Setup Apache Hadoop konfiguratsiooni ja algus Hadoop protsesside.

$ /usr / sbin / Hadoop-setup-single-node.sh

Seadistusviisard juhendab teid läbi küsimuste nimekirja setup Hadoop. Hadoop tuleks töötab pärast vastamist "Y" kõigile küsimustele.

Loo kasutajakonto HDFS ise.

$ /usr / sbin / Hadoop-create-user.sh-u $ KASUTAJA

B) Multi-sõlmede Hadoop setup

1) Paigalda nii JDK ja Hadoop 0.20.204.0 RPM kõigi sõlmede

2) Loo Hadoop konfiguratsiooni kõik sõlmed:

$ /usr / sbin / Hadoop-setup-conf.sh \

  --namenode-url=hdfs://${namenode}:9000/ \

  --jobtracker-url=${jobtracker}:9001 \

  --conf-dir=/etc/hadoop \

  --hdfs-dir=/var/lib/hadoop/hdfs \

  --namenode-dir=/var/lib/hadoop/hdfs/namenode \

  --mapred-dir=/var/lib/hadoop/mapred \

  --datanode-dir=/var/lib/hadoop/hdfs/data \

  --log-dir=/var/log/hadoop \

  --auto

Kus ${namenode} ja ${jobtracker} tuleks asendada hostinimi namenode ja jobtracker.

3) Formaat namenode ja setup vaikimisi HDFS paigutus.

$ /usr / sbin / Hadoop-setup-hdfs.sh

4) Alusta kõik andmed sõlmede.

$ /etc / init.d / Hadoop-datanode algus

5) Alusta tööd tracker sõlme.

$ /etc / init.d / Hadoop-jobtracker algus

6) Start Task Tracker sõlmede.

$ /etc / init.d / Hadoop-ülesanne tracker starter

7) Loo kasutajakonto HDFS ise.

$ /usr / sbin / Hadoop-create-user.sh-u $ KASUTAJA

C) Setup Keskkond Hadoop

$ vi ~ /. bash_profile

Lisamis-set tee JAVA_HOME

Ekspordi JAVA_HOME

Salvesta fail, klõpsates esc:wq

Käivita. Bash_profile

$ allikas ~ /. bash_profile

Määra JAVA_HOME tee Hadoop Keskkond fail

$ /etc / Hadoop / Hadoop-env.sh

D) Konfiguratsioon Hadoop

Kasuta järgmisi:

conf / core-site.xml:

<nimi>fs.default.name</nimi>

<väärtus>HDFS://localhost:9000</väärtus>

</kinnisvara>

</konfiguratsioon>

conf / HDFS-site.xml:

<nimi>dfs.replication</nimi>

<väärtus>1</väärtus>

</kinnisvara>

</konfiguratsioon>

conf / mapred-site.xml:

<nimi>mapred.job.tracker</nimi>

<väärtus>localhost:9001</väärtus>

</kinnisvara>

</konfiguratsioon>

See) Hadoop käsud

$ Hadoop
$ Hadoop namenode-formaadis (Vormindage namenode, Kui paluda
vastata vajutage "Y")
$ Hadoop NameNode (Alusta namenode)
$ leidma / -nimi algus-dfs.sh (leia faili kataloog)
$ cd usr / sbin (Mine vastav kataloog otse)
$ start-dfs.sh
$ algus-mapred.sh

$ Hadoop fs-LS / (Näitab HDFS juurkausta)
$ hadooop fs-panna input/file01 / input/file01 (Kopeeri kohalike input/file01 kuni
HDFS root / input/file01)