Fogunk írni Hadoop a telepítést az egyetlen csomópont és több csomópont. A Hadoop környezet beállítás és konfigurálás ismertetjük részletesen. Először is le kell töltenie a következő szoftverek (fordulat).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Single node rendszer Hadoop telepítést
1) JDK telepítése a Red Hat vagy CentOS 5+ rendszer.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java telepítése és beállítása JAVA_HOME a / usr / java / default
2) Telepítés Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Beállítás Apache Hadoop beállításokból, és indítsd Hadoop folyamatok.
$ /usr / sbin / Hadoop-setup-single-node.sh
A telepítő varázsló végigvezeti Önt egy listát a kérdést a telepítést Hadoop. Hadoop kell futtatni után megválaszolása 'Y' minden kérdésre.
Hozzon létre egy felhasználói fiókot HDFS magának.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-csomópontok Hadoop telepítést
1) Szereljük mind a JDK és a Hadoop 0.20.204.0 RPM minden csomóponton
2) Létrehoz Hadoop konfigurációt minden csomóponton:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url = hdfs://${namenode}:9000/ \
--jobtracker url = ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--hdfs-dir = / var / lib / Hadoop / hdfs \
--namenode-dir = / var / lib / Hadoop / hdfs / namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--DataNode-dir = / var / lib / Hadoop / HDFS / data \
--log-dir = / var / log / Hadoop \
--kocsi
Ahol ${namenode} és ${jobtracker} kell cserélni gépnevét namenode és jobtracker.
3) Formátum namenode és a telepítést az alapértelmezett HDFS elrendezés.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Indítsa el az összes adatot csomópont.
$ /etc / init.d / Hadoop-datanode indítás
5) Indítsa el a munkát tracker csomópont.
$ /etc / init.d / Hadoop-jobtracker indítás
6) Indítsa el a feladatot tracker csomópontok.
$ /etc / init.d / Hadoop-feladat tracker starter
7) Hozzon létre egy felhasználói fiókot HDFS magának.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Beállítás Environment for Hadoop
$ vi ~ /. bash_profile
Az INSERT módban beállított útvonalat JAVA_HOME
Export JAVA_HOME
Fájl mentése gombra kattintva esc:wq
Futtassa a. Bash_profile
$ source ~ /. bash_profile
Állítsa JAVA_HOME útvonalat Hadoop Környezet fájlban
$ /etc / Hadoop / Hadoop-env.sh
D) Konfiguráció Hadoop
Használja a következő:
conf / core-site.xml:
| <konfiguráció> |
| <ingatlan> |
| <név>fs.default.name</név> |
| <érték>hdfs://localhost:9000</érték> |
| </ingatlan> |
| </konfiguráció> |
conf / hdfs-site.xml:
| <konfiguráció> |
| <ingatlan> |
| <név>dfs.replication</név> |
| <érték>1</érték> |
| </ingatlan> |
| </konfiguráció> |
conf / mapred-site.xml:
| <konfiguráció> |
| <ingatlan> |
| <név>mapred.job.tracker</név> |
| <érték>localhost:9001</érték> |
| </ingatlan> |
| </konfiguráció> |
Azt) Hadoop parancsok
$ Hadoop
$ Hadoop namenode-formátum (Formázása namenode, Ha kérni
answer nyomja meg a 'Y')
$ Hadoop namenode (Indítsa el a namenode)
$ talál / -név start-dfs.sh (megtalálja a fájlt a könyvtárban)
$ cd usr / sbin (Folytassák a megfelelő könyvtár közvetlenül)
$ start-dfs.sh
$ start-mapred.sh
$ Hadoop fs-ls / (Megmutatja a HDFS gyökérkönyvtárában)
$ hadooop fs-be input/file01 / input/file01 (Másolás helyi input/file01 a
HDFS root / input/file01)
