We beschrijven Hadoop-instelling op een knooppunt en multi knooppunt. The Hadoop environment setup and configuration will be described in details. Eerst moet u de volgende software te downloaden (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
Een) Single knooppunt systeem Hadoop setup
1) Installeer JDK op een Red Hat of CentOS 5+ systeem.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java is geïnstalleerd en ingesteld JAVA_HOME naar / usr / java / default
2) Installeer Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop configuratie en start Hadoop processen.
$ /usr / sbin / hadoop-setup-single-node.sh
De installatiewizard leidt u door een lijst met vragen op te zetten Hadoop. Hadoop moet worden uitgevoerd na het beantwoorden van 'Y' op alle vragen.
Maak een gebruikersaccount op HDFS voor jezelf.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
B) Multi-knooppunten Hadoop setup
1) Installeer zowel de JDK en Hadoop 0.20.204.0 RPMs op alle knooppunten
2) Genereer hadoop configuratie op alle knooppunten:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Waar ${namenode} en ${jobtracker} moet worden vervangen door de hostnaam van namenode en jobtracker.
3) Formaat namenode en setup standaard HDFS lay-out.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Start alle gegevens knooppunten.
$ /etc / init.d / hadoop-datanode start
5) Start job tracker knooppunt.
$ /etc / init.d / hadoop-jobtracker start
6) Start taak tracker knooppunten.
$ /etc / init.d / Hadoop-task tracker starter
7) Maak een gebruikersaccount op HDFS voor jezelf.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
C) Setup Environment for Hadoop
$ vi ~ /. bash_profile
In de INSERT-modus set weg voor JAVA_HOME
Export JAVA_HOME
Bestand opslaan door te klikken op esc:wq
Voer het. Bash_profile
$ bron ~ /. bash_profile
Stel JAVA_HOME pad in Hadoop Milieu-bestand
$ /etc/hadoop/hadoop-env.sh
D) Configuratie voor Hadoop
Gebruik de volgende:
conf / core-site.xml:
| <configuratie> |
| <eigendom> |
| <naam>fs.default.name</naam> |
| <waarde>HDFS://localhost:9000</waarde> |
| </eigendom> |
| </configuratie> |
conf / HDFS-site.xml:
| <configuratie> |
| <eigendom> |
| <naam>dfs.replication</naam> |
| <waarde>1</waarde> |
| </eigendom> |
| </configuratie> |
conf / mapred-site.xml:
| <configuratie> |
| <eigendom> |
| <naam>mapred.job.tracker</naam> |
| <waarde>localhost:9001</waarde> |
| </eigendom> |
| </configuratie> |
Het) Hadoop Commando
$ Hadoop
$ hadoop namenode-formaat (Formatteer de namenode, Als vragen om
antwoord op 'Y')
$ Hadoop namenode (Start de namenode)
$ vinden / -noemen start-dfs.sh (zoekt u het bestand in de map:)
$ cd usr / sbin (Ga naar respectieve directory direct)
$ start-dfs.sh
$ start-mapred.sh
$ hadoop fs-ls / (Toont de HDFS hoofdmap)
$ hadooop fs-zetten input/file01 / input/file01 (Kopieer lokale input/file01 naar
HDFS root / input/file01)
