Nous allons décrire l'installation Hadoop sur un seul nœud et le nœud à plusieurs. The Hadoop environment setup and configuration will be described in details. Vous devez d'abord télécharger le logiciel suivant (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Simple noeud du système Hadoop configuration
1) Installez JDK sur une Red Hat ou CentOS 5+ système.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java est installé et configuré JAVA_HOME sur le répertoire / usr / java / default
2) Installer Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Configuration Apache Hadoop configuration et de démarrage des processus Hadoop.
$ /usr / sbin / hadoop-setup-single-node.sh
L'assistant d'installation vous guidera à travers une liste de questions à la configuration Hadoop. Hadoop doit être exécuté après avoir répondu "Y" à toutes les questions.
Créer un compte utilisateur sur HDFS pour vous-même.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
B) Multi-nœuds configuration Hadoop
1) Installez les deux JDK et Hadoop 0.20.204.0 RPM sur tous les nœuds
2) Générer la configuration hadoop sur tous les nœuds:
$ /usr / sbin / hadoop-setup-conf.sh \
--NameNode-url = hdfs://${namenode}:9000/ \
--JobTracker url = ${JobTracker}:9001 \
--conf-dir = / etc / hadoop \
--hdfs-dir = / var / lib / Hadoop / hdfs \
--NameNode-dir = / var / lib / Hadoop / hdfs / NameNode \
--mapred-dir = / var / lib / hadoop / mapred \
--DataNode-dir = / var / lib / hadoop / hdfs / données \
--log-dir = / var / log / hadoop \
--auto
Où ${namenode} et ${JobTracker} devrait être remplacé par le nom d'hôte et namenode JobTracker.
3) Format namenode et la configuration par défaut HDFS mise en page.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Démarrez tous les noeuds de données.
$ /etc / init.d / hadoop-datanode début
5) Démarrer Job Tracker noeud.
$ /etc / init.d / hadoop-JobTracker début
6) Début nœuds trackers travail.
$ /etc / init.d / Hadoop-tâche tracker de démarreur
7) Créer un compte utilisateur sur HDFS pour vous-même.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
C) Environnement d'installation pour Hadoop
$ vi ~ /. bash_profile
En chemin ensemble en mode insertion pour JAVA_HOME
Export JAVA_HOME
Enregistrer le fichier en cliquant sur esc:wq
Exécutez l'bash_profile.
$ source ~ /. bash_profile
Définir le chemin JAVA_HOME dans le fichier de l'environnement Hadoop
$ /etc / Hadoop / hadoop-env.sh
D) Configuration pour Hadoop
Utilisez ce qui suit:
conf / core-site.xml:
| <configuration> |
| <propriété> |
| <nom>fs.default.name</nom> |
| <valeur>HDFS://localhost:9000</valeur> |
| </propriété> |
| </configuration> |
conf / HDFS-site.xml:
| <configuration> |
| <propriété> |
| <nom>dfs.replication</nom> |
| <valeur>1</valeur> |
| </propriété> |
| </configuration> |
conf / mapred-site.xml:
| <configuration> |
| <propriété> |
| <nom>mapred.job.tracker</nom> |
| <valeur>localhost:9001</valeur> |
| </propriété> |
| </configuration> |
Il) Commandes Hadoop
$ hadoop
$ hadoop namenode format (Formatez la namenode, Si demander de
répondre à la presse "Y")
$ hadoop namenode (Démarrez le namenode)
$ trouver / -nommer démarrage dfs.sh (trouver le fichier dans le répertoire)
$ usr cd / sbin (Allez dans le répertoire correspondant directement)
$ démarrage dfs.sh
$ démarrage mapred.sh
$ hadoop fs-ls / (Indique le dossier racine HDFS)
$ hadooop fs-mis input/file01 / input/file01 (Copiez input/file01 local
HDFS root / input/file01)
