Deskribatzeko egingo dugu Hadoop konfigurazioa nodo bakar eta anitzeko nodo. The Hadoop environment setup and configuration will be described in details. Lehenik eta behin, ondoko software deskargatzeko behar duzu. (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Nodo sistema bakarra Hadoop konfigurazioa
1) Instalatu JDK, Red Hat bat edo CentOS 5+ sistema.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java instalatuta dago, eta JAVA_HOME / usr / java / default ezar
2) Instalatu Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop konfigurazioa eta hasiera Hadoop prozesuak.
$ /usr / sbin / hadoop-setup-single-node.sh
Konfigurazio morroia gidatuko zaitu, galdera-zerrenda baten bidez konfigurazioa Hadoop. Hadoop 'Y' galdera guztiak erantzuten ondoren behar.
Sortu erabiltzaile-kontu bat HDFS on yourself.
$ /usr / sbin /: hadoop-create-user.sh-u $ USER
B) Multi-nodo Hadoop konfigurazioa
1) Instalatu bai JDK eta Hadoop 0.20.204.0 Nodo guztiak rpm
2) Sortu hadoop nodo guztiak konfigurazioa:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Non ${namenode} eta ${jobtracker} ordezkatu behar namenode eta jobtracker hostname.
3) Format namenode eta konfigurazioa default layout HDFS.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Hasi datuak nodo guztiak.
$ /etc / init.d / Hadoop datuak nodo hasiera
5) Hasi lan tracker nodo.
$ /etc / init.d / Hadoop-jobtracker Irteeran
6) Hasi zeregin tracker nodo.
$ /etc / init.d / Hadoop-task tracker starter
7) Sortu erabiltzaile-kontu bat HDFS on yourself.
$ /usr / sbin /: hadoop-create-user.sh-u $ USER
C) Setup Hadoop Ingurumena
$ vi ~ /. bash_profile
INSERT modua ezarri JAVA_HOME bidea
Export JAVA_HOME
Gorde fitxategia klik eginez esc:wq
Exekutatu. Bash_profile
$ source ~ /. bash_profile
Ezarri JAVA_HOME bidea Hadoop Ingurumena fitxategia
$ /etc / Hadoop / Hadoop-env.sh
D) Hadoop konfigurazioa
Erabili ondoko:
conf / core-site.xml:
| <konfigurazio> |
| <jabetza> |
| <izena>fs.default.name</izena> |
| <balioa>hdfs://localhost:9000</balioa> |
| </jabetza> |
| </konfigurazio> |
conf / hdfs-site.xml:
| <konfigurazio> |
| <jabetza> |
| <izena>dfs.replication</izena> |
| <balioa>1</balioa> |
| </jabetza> |
| </konfigurazio> |
conf / mapred-site.xml:
| <konfigurazio> |
| <jabetza> |
| <izena>mapred.job.tracker</izena> |
| <balioa>localhost:9001</balioa> |
| </jabetza> |
| </konfigurazio> |
It) Hadoop Komandoak
$ hadoop
$ hadoop-format NameNode (Formateatu namenode, Eskatu bada
erantzun sakatu 'Y')
$ hadoop NameNode (Hasi namenode)
$ aurkitu / -Irteeran izenda-dfs.sh (direktorioan fitxategia aurkitu)
$ cd usr / sbin (Joan hurrenez hurren direktorioa zuzenean)
$ hasteko-dfs.sh
$ Irteeran-mapred.sh
$ hadoop fs-ls / (HDFS root karpeta erakusten du)
$ hadooop fs-jarri input/file01 / input/file01 (Tokiko input/file01 kopiatu nahi
HDFS root / input/file01)
