Imos describir a configuración do Hadoop nun único nodo e nodo de multi. The Hadoop environment setup and configuration will be described in details. Primeiro cómpre baixar o software a seguir (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Único no sistema de configuración do Hadoop
1) Instalar o JDK nun Red Hat ou CentOS 5+ sistema.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java está instalada e axuste JAVA_HOME como / usr / java / default
2) Instalar Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Configuración Apache Hadoop configuración e procesos de inicio Hadoop.
$ /usr / sbin / hadoop-setup-single-node.sh
O asistente de configuración ha guía-lo a través dunha lista de preguntas para a configuración do Hadoop. Hadoop debe ser executado despois de responder 'Y' para todas as preguntas.
Crear unha conta de usuario no HDFS para si mesmo.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
B) Multi-configuración nós Hadoop
1) Instala tanto o JDK e Hadoop 0.20.204.0 RPMs en todos os nós
2) Xerar hadoop configuración en todos os nós:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${NameNode}:9000/ \
--jobtracker-url=${JobTracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Onde ${NameNode} e ${JobTracker} debe ser substituído polo nome de host NameNode e JobTracker.
3) Formato NameNode e patrón de configuración do esquema HDFS.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Iniciar todos os nós de datos.
$ /etc / init.d / hadoop-DataNode inicio
5) Iniciar no traballo rastreador.
$ /etc / init.d / hadoop-JobTracker inicio
6) Comezar nós rastreador de tarefas.
$ /etc / init.d / Hadoop-tarefa rastreador de partida
7) Crear unha conta de usuario no HDFS para si mesmo.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
C) Ambiente de instalación para Hadoop
$ vin ~ bash_profile /.
En INSERT camiño definido para o modo JAVA_HOME
Export JAVA_HOME
Gardar o ficheiro premendo ESC:wq
Executa o bash_profile.
$ bash_profile source ~ /.
Establecer camiño JAVA_HOME no Hadoop arquivo Ambiente
$ /etc / Hadoop / Hadoop-env.sh
D) Configuración para Hadoop
Use o seguinte:
conf / core-site.xml:
| <configuración> |
| <propiedade> |
| <nome>fs.default.name</nome> |
| <valor>HDFS://localhost:9000</valor> |
| </propiedade> |
| </configuración> |
conf / HDFS-site.xml:
| <configuración> |
| <propiedade> |
| <nome>dfs.replication</nome> |
| <valor>1</valor> |
| </propiedade> |
| </configuración> |
conf / mapred-site.xml:
| <configuración> |
| <propiedade> |
| <nome>mapred.job.tracker</nome> |
| <valor>localhost:9001</valor> |
| </propiedade> |
| </configuración> |
El) Ordes Hadoop
$ hadoop
$ hadoop NameNode formato (Formatar o NameNode, Se pedir para
responder prema 'Y')
$ hadoop namenode (Inicia o NameNode)
$ atopar / -nomear start-dfs.sh (atopar o ficheiro no directorio)
$ cd usr / sbin (Vaia ao directorio respectivo directamente)
$ iniciarse dfs.sh
$ inicio mapred.sh-
$ hadoop FS-ls / (Mostra o cartafol raíz HDFS)
$ hadooop FS-poñer input/file01 / input/file01 (Copia input/file01 local para
HDFS administrador / input/file01)
