Við munum lýsa Hadoop skipulag á einn hnút og multi hnút. The Hadoop environment setup and configuration will be described in details. Fyrst verður þú að sækja eftirfarandi hugbúnað (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Single hnút kerfi Hadoop skipulag
1) Setja jdk á Red Hat eða Debian 5+ kerfi.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java er uppsett og stillt JAVA_HOME í / usr / java / default
2) Setja Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Uppsetning Apache Hadoop stillingar og byrja Hadoop ferli.
$ /usr / sbin / Hadoop-skipulag-einn-node.sh
Uppsetningarforritið mun leiða þig í gegnum lista af spurningum til að setja Hadoop. Hadoop skal keyra eftir að svara 'Y' við öllum spurningum.
Búa til notanda á HDFS fyrir þig.
$ /usr / sbin / Hadoop-skapa-user.sh u $ USER
B) Multi-hnúður Hadoop skipulag
1) Setja bæði JDK og Hadoop 0.20.204.0 RPMs á öllum hnúður
2) Mynda Hadoop stillingar á öllum hnúður:
$ /usr / sbin / Hadoop-skipulag-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Hvar ${namenode} og ${jobtracker} ætti að skipta með vélarheiti namenode og jobtracker.
3) Format namenode og skipulag sjálfgefið HDFS skipulag.
$ /usr / sbin / Hadoop-skipulag-hdfs.sh
4) Byrja öll gögn hnúður.
$ /etc / init.d / Hadoop-datanode byrja
5) Hefja starf rekja spor einhvers hnút.
$ /etc / init.d / Hadoop-jobtracker byrja
6) Byrja verkefni rekja spor einhvers hnúður.
$ /etc / init.d / Hadoop-verkefni Tracker ræsir
7) Búa til notanda á HDFS fyrir þig.
$ /usr / sbin / Hadoop-skapa-user.sh u $ USER
C) Skipulag Umhverfi fyrir Hadoop
$ vi ~ /. bash_profile
Í INSERT stillt leið til JAVA_HOME
Export JAVA_HOME
Vista skrá með því að smella ESC:WQ
Keyra. Bash_profile
$ uppspretta ~ /. bash_profile
Setja JAVA_HOME leið í Hadoop Umhverfi skrá
$ /etc / Hadoop / Hadoop-env.sh
D) Stillingar fyrir Hadoop
Notaðu eftirfarandi:
conf / kjarna-site.xml:
| <stillingar> |
| <eign> |
| <Nafn>fs.default.name</Nafn> |
| <gildi>hdfs://localhost:9000</gildi> |
| </eign> |
| </stillingar> |
conf / hdfs-site.xml:
| <stillingar> |
| <eign> |
| <Nafn>dfs.replication</Nafn> |
| <gildi>1</gildi> |
| </eign> |
| </stillingar> |
conf / mapred-site.xml:
| <stillingar> |
| <eign> |
| <Nafn>mapred.job.tracker</Nafn> |
| <gildi>localhost:9001</gildi> |
| </eign> |
| </stillingar> |
Það) Hadoop Skipanir
$ Hadoop
$ Hadoop namenode-sniði (Forsníða namenode, Ef beðið að
svara stutt 'Y')
$ Hadoop NameNode (Ræstu namenode)
$ finna / -nefna byrjun-dfs.sh (finna skrána í möppu)
$ CD usr / sbin (Fara til viðkomandi skrá beint)
$ byrja dfs.sh
$ byrjun-mapred.sh
$ Hadoop FS-LS / (Sýnir HDFS rót mappa)
$ hadooop FS-setja input/file01 / input/file01 (Afrita sveitarfélaga input/file01 til
HDFS rót / input/file01)
