Ne do të përshkruajë organizim Hadoop në nyjen e vetme dhe multi nyje. The Hadoop environment setup and configuration will be described in details. Së pari ju duhet të shkarkoni software e mëposhtme (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
Një) Vetëm sistemi nyje Hadoop Setup
1) Instalo JDK në Red Hat ose CentOS 5+ sistem.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java është instaluar dhe të vendosur për të JAVA_HOME / usr / Java / Default
2) Install Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop konfigurimit dhe të fillojnë proceset Hadoop.
$ /usr / sbin / hadoop-organizim-vetme-node.sh
Asistenti i konfigurimit do t'ju udhëheq përmes një listë të pyetjeve të setup Hadoop. Hadoop duhet të konkurrojnë, pasi iu përgjigjur 'Y' të gjitha pyetjeve.
Krijo një llogari përdoruesi në HDFS për veten.
$ /usr / sbin / hadoop-krijoni-user.sh-u $ USER
B) Multi-nyjet Setup Hadoop
1) Install dy JDK dhe Hadoop 0.20.204.0 RPMs në të gjitha nyjet
2) Generate konfigurimin hadoop në të gjitha nyjet:
$ /usr / sbin / hadoop-Setup-conf.sh \
--namenode-URL = hdfs://${namenode}:9000/ \
--jobtracker url = ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--hdfs-Dir = / var / lib / Hadoop / hdfs \
--namenode-dir = / var / lib / Hadoop / hdfs / namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--DataNode-dir = / var / lib / Hadoop / HDFS / data \
--log-dir = / var / log / Hadoop \
--auto
Ku ${namenode} dhe ${jobtracker} duhet të zëvendësohet me hostname e namenode dhe jobtracker.
3) Format namenode dhe setup parazgjedhur HDFS Layout.
$ /usr / sbin / hadoop-Setup-hdfs.sh
4) Filloni të gjitha nyjet dhënave.
$ /etc / init.d / hadoop-datanode Fillimi
5) Të fillojë punë nyje tracker.
$ /etc / init.d / hadoop-jobtracker Fillimi
6) Filloni nyjet tracker detyrë.
$ /etc / init.d / Hadoop-detyrë tracker starter
7) Krijo një llogari përdoruesi në HDFS për veten.
$ /usr / sbin / hadoop-krijoni-user.sh-u $ USER
C) Mjedisi Setup për Hadoop
$ Unë ~ /. Bash_profile
Në insert mode rrugën vendosur për JAVA_HOME
Eksporti JAVA_HOME
Ruaj skedarin duke klikuar ESC:wq
Run bash_profile.
$ burim ~ /. bash_profile
Set rrugën JAVA_HOME në dosjen Hadoop Mjedisit
$ /etj / Hadoop / Hadoop-env.sh
D) Konfigurimi për Hadoop
Përdorin poshtë:
Conf / core-site.xml:
| <konfiguracion> |
| <pronë> |
| <emër>fs.default.name</emër> |
| <vlerë>hdfs://localhost:9000</vlerë> |
| </pronë> |
| </konfiguracion> |
Conf / hdfs-site.xml:
| <konfiguracion> |
| <pronë> |
| <emër>dfs.replication</emër> |
| <vlerë>1</vlerë> |
| </pronë> |
| </konfiguracion> |
Conf / mapred-site.xml:
| <konfiguracion> |
| <pronë> |
| <emër>mapred.job.tracker</emër> |
| <vlerë>localhost:9001</vlerë> |
| </pronë> |
| </konfiguracion> |
Ajo) Komandat Hadoop
$ hadoop
$ hadoop namenode-format (Format e namenode, Nëse kërkoni të
përgjigjet për shtyp 'Y')
$ hadoop namenode (Filloni namenode)
$ gjej / -emër fillim-dfs.sh (gjeni fotografi në directory)
$ usr cd / sbin (Shko tek directory përkatës direkt)
$ start-dfs.sh
$ start-mapred.sh
$ hadoop fs-ls / (Tregon dosjen rrënjë HDFS)
$ hadooop fs-vënë input/file01 / input/file01 (Kopjo input/file01 lokale në
HDFS root / input/file01)
