Vom descrie Hadoop de configurare pe nod unic și nod multe. The Hadoop environment setup and configuration will be described in details. În primul rând aveți nevoie pentru a descărca software-ul următor (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Singur sistem de nod Hadoop configurare
1) Instalați JDK pe un Red Hat sau CentOS 5+ sistem.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java este instalat și setat JAVA_HOME la / usr / java / default
2) Instalați Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Configurare Apache Hadoop de configurare și a proceselor de pornire Hadoop.
$ /usr / sbin / Hadoop-setup-un singur node.sh
Asistentul de configurare vă va ghida printr-o listă de întrebări la configurarea Hadoop. Hadoop ar trebui să fie difuzate după ce răspunde la "Y" la toate întrebările.
Creați un cont de utilizator pe HDFS pentru tine.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-noduri Hadoop configurarea
1) Instalați atât JDK și Hadoop 0.20.204.0 RPM-uri de pe toate nodurile
2) Generarea de configurare Hadoop pe toate nodurile:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Unde ${namenode} și ${jobtracker} ar trebui să fie înlocuite cu numele de gazdă al namenode și jobtracker.
3) Format namenode și configurarea implicită HDFS aspect.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Începeți toate nodurile de date.
$ /etc / init.d / Hadoop-datanode pornire
5) Puteti de locuri de muncă nod tracker.
$ /etc / init.d / Hadoop-jobtracker pornire
6) Puteti noduri de activități tracker.
$ /etc / init.d / Hadoop-sarcină tracker starter
7) Creați un cont de utilizator pe HDFS pentru tine.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Mediul de configurare pentru Hadoop
$ ne ~ /. bash_profile
În set de cale INSERT modul de JAVA_HOME
Export JAVA_HOME
Salvați fișierul făcând clic pe esc:wq
Rulați bash_profile.
$ sursa ~ /. bash_profile
Amplasat JAVA_HOME calea în fișierul de Mediu Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) De configurare pentru Hadoop
Utilizați următoarele:
conf / core-site.xml:
| <configurație> |
| <proprietate> |
| <nume>fs.default.name</nume> |
| <valoare>hdfs://localhost:9000</valoare> |
| </proprietate> |
| </configurație> |
conf / hdfs-site.xml:
| <configurație> |
| <proprietate> |
| <nume>dfs.replication</nume> |
| <valoare>1</valoare> |
| </proprietate> |
| </configurație> |
conf / mapred-site.xml:
| <configurație> |
| <proprietate> |
| <nume>mapred.job.tracker</nume> |
| <valoare>localhost:9001</valoare> |
| </proprietate> |
| </configurație> |
Aceasta) Hadoop Comenzi
$ Hadoop
$ Hadoop namenode format (Formatarea namenode, În cazul în care cere să
answer apăsați pe "Y")
$ Hadoop NameNode (Începeți namenode)
$ găsi / -numi start-dfs.sh (găsiți fișierul în directorul)
$ cd usr / sbin (Du-te la directorul respectiv direct)
$ începe-dfs.sh
$ start-mapred.sh
$ Hadoop fs-ls / (Prezinta folderul rădăcină HDFS)
$ hadooop fs-a pus input/file01 / input/file01 (Copiați input/file01 local pentru a
HDFS rădăcină / input/file01)
