Descriurem la configuració Hadoop en un sol node i el node de múltiples. The Hadoop environment setup and configuration will be described in details. En primer lloc cal descarregar el programari següent (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
La) Únic node de configuració del sistema Hadoop
1) Instal · lar el JDK en un Red Hat o CentOS 5+ sistema.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java està instal · lat i configurat JAVA_HOME a / usr / java / default
2) Instal · lar Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Configuració d'Apache Hadoop configuració i els processos d'inici Hadoop.
$ /usr / sbin / Hadoop-setup-single node.sh-
L'assistent de configuració us guiarà a través d'una llista de preguntes per a la configuració Hadoop. Hadoop ha d'estar executant després de respondre "I" a totes les preguntes.
Crea un compte d'usuari en HDFS per tu mateix.
$ /usr / sbin / Hadoop-create-user.sh O $ USER
B) Multi-nodes Hadoop configuració
1) Instal tant el JDK i Hadoop 0.20.204.0 RPM en tots els nodes
2) Generar configuració Hadoop en tots els nodes:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${JobTracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
On ${namenode} i ${JobTracker} ha de ser reemplaçat pel nom de host de namenode i JobTracker.
3) Format namenode i configuració per defecte HDFS disseny.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Inicieu tots els nodes de dades.
$ /etc / init.d / Hadoop-DataNode inici
5) Comenceu treball node rastrejador.
$ /etc / init.d / Hadoop-JobTracker inici
6) Comenceu nodes de tasca rastrejador.
$ /etc / init.d / Hadoop-tasca de seguiment d'arrencada
7) Crea un compte d'usuari en HDFS per tu mateix.
$ /usr / sbin / Hadoop-create-user.sh O $ USER
C) Configuració de l'entorn per Hadoop
$ vaig veure ~ /. bash_profile
En Ruta de conjunt de la manera d'inserció per JAVA_HOME
Export JAVA_HOME
Deseu el fitxer fent clic a esc:wq
Executeu el bash_profile.
$ source ~ /. bash_profile
Establir ruta JAVA_HOME a l'arxiu de Medi Ambient Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Configuració per Hadoop
Utilitzi el següent:
conf / core-site.xml:
| <configuració> |
| <propietat> |
| <nom>fs.default.name</nom> |
| <valor>HDFS://localhost:9000</valor> |
| </propietat> |
| </configuració> |
conf / HDFS-site.xml:
| <configuració> |
| <propietat> |
| <nom>dfs.replication</nom> |
| <valor>1</valor> |
| </propietat> |
| </configuració> |
conf / mapred-site.xml:
| <configuració> |
| <propietat> |
| <nom>mapred.job.tracker</nom> |
| <valor>localhost:9001</valor> |
| </propietat> |
| </configuració> |
El) Hadoop Ordres
$ Hadoop
$ Hadoop namenode de format (Formateu la namenode, Si demanem a
Resposta Premi 'I')
$ Hadoop NameNode (Inicieu el namenode)
$ trobar / -nom d'inici dfs.sh (trobar el fitxer al directori)
$ cd usr / sbin (Anar al directori respectiu directament)
$ posada en dfs.sh
$ posada en mapred.sh
$ Hadoop fs-ls / (Mostra la carpeta arrel HDFS)
$ hadooop fs-posar input/file01 / input/file01 (Copiar input/file01 local per
HDFS root / input/file01)
