Vi kommer att beskriva Hadoop setup på enda nod och multi nod. The Hadoop environment setup and configuration will be described in details. Först måste du ladda ner följande programvara (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
EN) Enda nod-system Hadoop inställningar
1) Installera JDK på en Red Hat eller CentOS 5+ systemet.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java är installerat och ställa JAVA_HOME till / usr / java / default
2) Installera Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Inställning Apache Hadoop konfiguration och start Hadoop processer.
$ /usr / sbin / Hadoop-setup-en-node.sh
Installationsguiden kommer att guida dig genom en lista med frågor att installera Hadoop. Hadoop ska springa efter svara "Y" på alla frågor.
Skapa ett användarkonto på HDFS själv.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-noder Hadoop inställning
1) Installera både JDK och Hadoop 0.20.204.0 RPM på alla noder
2) Generera Hadoop konfiguration på alla noder:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Där ${namenode} och ${jobtracker} bör ersättas med värdnamn namenode och jobtracker.
3) Format namenode och installation standard HDFS layout.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Starta alla datanoderna.
$ /etc / init.d / Hadoop-datanode start
5) Starta jobb tracker nod.
$ /etc / init.d / Hadoop-jobtracker start
6) Starta noder uppgift tracker.
$ /etc/init.d/hadoop-tasktracker start
7) Skapa ett användarkonto på HDFS själv.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Inställning Miljö för Hadoop
$ Vi ~ /. bash_profile
I infogningsläget set väg för JAVA_HOME
Export JAVA_HOME
Spara filen genom att klicka esc:WQ
Kör. Bash_profile
$ källa ~ /. bash_profile
Ställ JAVA_HOME sökvägen i Hadoop Miljö-fil
$ /etc / Hadoop / Hadoop-env.sh
D) Konfiguration för Hadoop
Använd följande:
conf / core-site.xml:
| <konfiguration> |
| <egendom> |
| <namn>fs.default.name</namn> |
| <värde>HDFS://localhost:9000</värde> |
| </egendom> |
| </konfiguration> |
conf / HDFS-site.xml:
| <konfiguration> |
| <egendom> |
| <namn>dfs.replication</namn> |
| <värde>1</värde> |
| </egendom> |
| </konfiguration> |
conf / mapred-site.xml:
| <konfiguration> |
| <egendom> |
| <namn>mapred.job.tracker</namn> |
| <värde>localhost:9001</värde> |
| </egendom> |
| </konfiguration> |
Den) Hadoop kommandon
$ Hadoop
$ Hadoop namenode-format (Formatera namenode, Om be att
svara Tryck "Y")
$ Hadoop namenode (Starta namenode)
$ hitta / -namn start dfs.sh (hitta filen i katalogen)
$ CD usr / sbin (Gå till respektive katalog direkt)
$ start dfs.sh
$ start-mapred.sh
$ Hadoop FS-ls / (Visar HDFS rotmappen)
$ hadooop FS-sätta input/file01 / input/file01 (Kopiera lokala input/file01 till
HDFS root / input/file01)
