Nou pral dekri Hadoop konfigirasyon sou ne sèl ak ne milti. The Hadoop environment setup and configuration will be described in details. Premye ou bezwen download lojisyèl ki anba la a (rpm).
- Java jdk tpm
- Apache Hadoop 0.20.204.0 Tpm
Yon) Single ne sistèm Hadoop konfigirasyon
1) Enstale jdk sou yon Wouj Hat oswa CentOS 5+ sistèm.
$ ./jdk-6u26-Linux-x64-rpm.bin.sh
Java se enstale, li mete JAVA_HOME / uzr / Java / default
2) Enstale Apache Hadoop 0.20.204.
$ rpm-mwen hadoop-0.20.204.0-1.i386.rpm
3) Enstalasyon Apache Hadoop konfigirasyon ak kòmansman pwosesis Hadoop.
$ /uzr / sben / hadoop-konfigirasyon-sèl-node.sh
Sòsye an konfigirasyon pral gid ou nan yon lis kesyon konfigirasyon Hadoop. Hadoop yo ta dwe kouri apre reponn 'Y' nan tout kesyon.
Kreye yon kont itilizatè sou HDFS pou tèt ou.
$ /uzr / sben / hadoop-kreye-user.sh-u $ itilizatè
B) Multi-nœuds Hadoop konfigirasyon
1) Enstale tou de jdk a ak Hadoop 0.20.204.0 Rpm sou tout nœuds
2) Jenere hadoop konfigirasyon sou tout nœuds:
$ /uzr / sben / hadoop-konfigirasyon-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Ki kote ${namenode} ak ${jobtracker} yo ta dwe ranplase ak ot nan namenode ak jobtracker.
3) Fòma namenode ak konfigirasyon default HDFS layout.
$ /uzr / sben / hadoop-konfigirasyon-hdfs.sh
4) Kòmanse tout nœuds done.
$ /elatriye / init.d / hadoop-datanode kòmansman
5) Kòmanse travay tracker ne.
$ /elatriye / init.d / hadoop-jobtracker kòmansman
6) Kòmanse nœuds tracker travay.
$ /elatriye / init.d / Hadoop-travay tracker starter
7) Kreye yon kont itilizatè sou HDFS pou tèt ou.
$ /uzr / sben / hadoop-kreye-user.sh-u $ itilizatè
C) Anviwònman Enstalasyon pou Hadoop
$ vi ~ /. bash_profile
Nan chemen seri INSERT mòd pou JAVA_HOME
Ekspòtasyon JAVA_HOME
Sove dosye pa klike ESC:wk
Kouri bash_profile la.
$ sous ~ /. bash_profile
Fikse JAVA_HOME chemen nan dosye Hadoop Anviwònman
$ /elatriye / Hadoop / Hadoop-env.sh
D) Nou konte ofri sèvis pou Hadoop
Sèvi ak sa ki annapre yo:
konf / nwayo-site.xml:
| <konfigirasyon> |
| <pwopriyete> |
| <non>fs.default.name</non> |
| <valè>hdfs://lokalost:9000</valè> |
| </pwopriyete> |
| </konfigirasyon> |
konf / hdfs-site.xml:
| <konfigirasyon> |
| <pwopriyete> |
| <non>dfs.replication</non> |
| <valè>1</valè> |
| </pwopriyete> |
| </konfigirasyon> |
konf / mapred-site.xml:
| <konfigirasyon> |
| <pwopriyete> |
| <non>mapred.job.tracker</non> |
| <valè>lokalost:9001</valè> |
| </pwopriyete> |
| </konfigirasyon> |
Li) Hadoop Kòmand
$ hadoop
$ hadoop namenode-fòma (Fòma namenode la, Si mande
reponn laprès 'Y')
$ hadoop NameNode (Kòmanse namenode la)
$ jwenn / -non kòmansman-dfs.sh (jwenn dosye a nan anyè)
$ cd uzr / sben (Ale nan anyè rèspèktif dirèkteman)
$ kòmanse-dfs.sh
$ kòmansman-mapred.sh
$ hadoop FS-ls / (Montre folder nan rasin HDFS)
$ hadooop FS-mete input/file01 / input/file01 (Kopi lokal input/file01
HDFS rasin / input/file01)
