Ons sal Hadoop setup beskryf op 'n enkele nodus en multi node. The Hadoop environment setup and configuration will be described in details. Eers moet jy die volgende sagteware af te laai (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
'N) Enkele nodus Hadoop setup
1) Installeer JDK op 'n Red Hat of CentOS 5+ stelsel.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java is geïnstalleer en JAVA_HOME / usr / java / default
2) Installeer Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop konfigurasie en begin Hadoop prosesse.
$ /usr / sbin / hadoop-setup-Enkellopend-node.sh
Die Setup Wizard sal jou lei deur 'n lys van vrae om te installeer Hadoop. Hadoop moet loop na die beantwoording van 'Y' op alle vrae.
Skep 'n rekening vir jouself op HDFS.
$ /usr / sbin / hadoop-skep-user.sh-u $ USER
B) Multi-nodes Hadoop setup
1) Installeer beide die JDK en Hadoop 0.20.204.0 RPMs op alle nodes
2) Genereer hadoop konfigurasie op alle nodes:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Waar ${namenode} en ${jobtracker} moet vervang word met gasheernaam van namenode en jobtracker.
3) Formaat namenode en setup default HDFS uitleg.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Begin alle data nodes.
$ /etc / init.d / hadoop-datanode begin
5) Begin werk tracker node.
$ /etc / init.d / hadoop-jobtracker begin
6) Begin taak tracker nodes.
$ /etc / init.d / Hadoop-taak tracker voorgereg
7) Skep 'n rekening vir jouself op HDFS.
$ /usr / sbin / hadoop-skep-user.sh-u $ USER
C) Setup omgewing vir Hadoop
$ vi ~ /. bash_profile
In INSERT modus stel pad vir JAVA_HOME
Uitvoer JAVA_HOME
Stoor die lêer deur te kliek op esc:WQ
Begin die. Bash_profile
$ bron ~ /. bash_profile
Stel JAVA_HOME pad in Hadoop Omgewing lêer
$ /etc / hadoop / hadoop-env.sh
D) Verstellings vir Hadoop
Gebruik die volgende:
conf / kern-site.xml:
| <opset> |
| <eiendom> |
| <naam>fs.default.name</naam> |
| <waarde>hdfs://localhost:9000</waarde> |
| </eiendom> |
| </opset> |
conf / hdfs-site.xml:
| <opset> |
| <eiendom> |
| <naam>dfs.replication</naam> |
| <waarde>1</waarde> |
| </eiendom> |
| </opset> |
conf / mapred-site.xml:
| <opset> |
| <eiendom> |
| <naam>mapred.job.tracker</naam> |
| <waarde>localhost:9001</waarde> |
| </eiendom> |
| </opset> |
Dit) Hadoop Commando
$ hadoop
$ hadoop namenode-formaat (Formateer die namenode, As vra om
beantwoord druk op "Y")
$ hadoop NameNode (Begin die namenode)
$ vind / -noem begin-dfs.sh (vind die lêer in die gids)
$ cd usr / sbin (Gaan na onderskeie directory direk)
$ begin dfs.sh
$ start-mapred.sh
$ hadoop fs-ls / (Toon die HDFS hoofdmap)
$ hadooop fs-sit input/file01 / input/file01 (Kopieer plaaslike input/file01 te
Die HDFS root / input/file01)
