Verrà descritta la configurazione Hadoop su singolo nodo e il nodo più. The Hadoop environment setup and configuration will be described in details. Per prima cosa è necessario scaricare il seguente software (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
La) Singolo nodo del sistema di installazione Hadoop
1) Installare JDK su una Red Hat o CentOS 5+ sistema.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java è installato e impostato JAVA_HOME / usr / java / default
2) Installare Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Configurazione di Apache Hadoop di configurazione e avviare processi di Hadoop.
$ /usr / sbin / Hadoop-setup-single-node.sh
La configurazione guidata vi guiderà attraverso un elenco di domande da installare Hadoop. Hadoop dovrebbe essere in esecuzione dopo aver risposto a 'Y' a tutte le domande.
Creare un account utente su HDFS per te.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-nodi Hadoop installazione
1) Installare sia il JDK e Hadoop 0.20.204.0 RPM su tutti i nodi
2) Genera configurazione Hadoop su tutti i nodi:
$ /usr / sbin / Hadoop-setup-conf.sh \
--NameNode-url = HDFS://${namenode}:9000/ \
--JobTracker url = ${JobTracker}:9001 \
--conf-dir = / etc / Hadoop \
--HDFS-dir = / var / lib / Hadoop / HDFS \
--NameNode-dir = / var / lib / Hadoop / HDFS / NameNode \
--mapred-dir = / var / lib / Hadoop / mapred \
--DataNode-dir = / var / lib / Hadoop / HDFS / dati \
--log-dir = / var / log / Hadoop \
--auto
Dove ${namenode} e ${JobTracker} deve essere sostituito con il nome host del namenode e JobTracker.
3) Formato namenode e la configurazione di default HDFS di layout.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Avviare tutti i nodi di dati.
$ /etc / init.d / Hadoop-datanode partenza
5) Inizio lavoro nodo inseguitore.
$ /etc / init.d / Hadoop-JobTracker partenza
6) Avviare i nodi inseguitore di attività.
$ /etc / init.d / Hadoop-task inseguitore avviamento
7) Creare un account utente su HDFS per te.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Ambiente di installazione di Hadoop
$ vi ~ /. bash_profile
Nel set path INSERT modalità per JAVA_HOME
Export JAVA_HOME
Salva il file, fare clic esc:WQ
Eseguire il file. Bash_profile
$ source ~ /. bash_profile
Impostare il percorso JAVA_HOME nel file Ambiente Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Configurazione per Hadoop
Utilizzare il seguente:
conf / core-site.xml:
| <configurazione> |
| <proprietà> |
| <nome>fs.default.name</nome> |
| <valore>HDFS://localhost:9000</valore> |
| </proprietà> |
| </configurazione> |
conf / HDFS-site.xml:
| <configurazione> |
| <proprietà> |
| <nome>dfs.replication</nome> |
| <valore>1</valore> |
| </proprietà> |
| </configurazione> |
conf / mapred-site.xml:
| <configurazione> |
| <proprietà> |
| <nome>mapred.job.tracker</nome> |
| <valore>localhost:9001</valore> |
| </proprietà> |
| </configurazione> |
E) Hadoop Comandi
$ Hadoop
$ Hadoop namenode formato (Formattare il namenode, Se chiedete di
rispondere premere 'Y')
$ Hadoop namenode (Avviare il namenode)
$ trovare / -nome start-dfs.sh (trovare il file nella directory)
$ cd usr / sbin (Vai alla rispettiva directory direttamente)
$ start-dfs.sh
$ start-mapred.sh
$ Hadoop fs-ls / (Mostra la cartella principale HDFS)
$ hadooop fs-put input/file01 / input/file01 (Copia input/file01 locale
HDFS root / input/file01)
