Vamos descrever a configuração do Hadoop em um único nó e nó de multi. The Hadoop environment setup and configuration will be described in details. Primeiro você precisa baixar o software a seguir (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Único nó do sistema de configuração do Hadoop
1) Instalar o JDK em um Red Hat ou CentOS 5+ sistema.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java está instalada e defina JAVA_HOME como / usr / java / default
2) Instale o Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Configuração Apache Hadoop configuração e processos de início Hadoop.
$ /usr / sbin / hadoop-setup-single-node.sh
O assistente de configuração irá guiá-lo através de uma lista de perguntas para a configuração do Hadoop. Hadoop deve ser executado depois de responder 'Y' para todas as perguntas.
Crie uma conta de usuário no HDFS para si mesmo.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
B) Multi-configuração nós Hadoop
1) Instale tanto o JDK e Hadoop 0.20.204.0 RPMs em todos os nós
2) Gerar hadoop configuração em todos os nós:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${NameNode}:9000/ \
--jobtracker-url=${JobTracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Onde ${NameNode} e ${JobTracker} deve ser substituído por nome do host NameNode e JobTracker.
3) Formato NameNode e padrão de configuração de layout HDFS.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Inicie todos os nós de dados.
$ /etc / init.d / Hadoop nó de dados de início
5) Iniciar nó trabalho rastreador.
$ /etc / init.d / Hadoop-JobTracker início
6) Comece nós rastreador de tarefas.
$ /etc / init.d / Hadoop-tarefa rastreador de partida
7) Crie uma conta de usuário no HDFS para si mesmo.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
C) Ambiente de instalação para Hadoop
$ vi ~ bash_profile /.
Em INSERT caminho definido para o modo JAVA_HOME
Export JAVA_HOME
Salvar arquivo clicando esc:wq
Execute o bash_profile.
$ bash_profile source ~ /.
Definir caminho JAVA_HOME no Hadoop arquivo Ambiente
$ /etc / Hadoop / Hadoop-env.sh
D) Configuração para Hadoop
Use o seguinte:
conf / core-site.xml:
| <configuração> |
| <propriedade> |
| <nome>fs.default.name</nome> |
| <valor>HDFS://localhost:9000</valor> |
| </propriedade> |
| </configuração> |
conf / HDFS-site.xml:
| <configuração> |
| <propriedade> |
| <nome>dfs.replication</nome> |
| <valor>1</valor> |
| </propriedade> |
| </configuração> |
conf/mapred-site.xml:
| <configuração> |
| <propriedade> |
| <nome>mapred.job.tracker</nome> |
| <valor>localhost:9001</valor> |
| </propriedade> |
| </configuração> |
Ele) Comandos Hadoop
$ hadoop
$ hadoop namenode –format (Formatar o NameNode, Se pedir para
responder pressione 'Y')
$ hadoop namenode (Inicie o NameNode)
$ encontrar / -nomear start-dfs.sh (encontrar o arquivo no diretório)
$ cd usr / sbin (Vá para o diretório respectivo diretamente)
$ iniciar-dfs.sh
$ início mapred.sh-
$ hadoop fs-ls / (Mostra a pasta raiz HDFS)
$ hadooop fs-colocar input/file01 / input/file01 (Copie input/file01 local para
HDFS root / input/file01)
