Biz tek bir düğüm ve çok düğüm üzerinde Hadoop'un kurulumu anlatacağım. The Hadoop environment setup and configuration will be described in details. Önce aşağıdaki yazılımı yüklemeniz gerekiyor (rpm).
- Java JDK RPM
- Apache Hadoop'un 0.20.204.0 RPM
A) Tek düğüm sistemi Hadoop'un kurulumu
1) Red Hat veya CentOS üzerinde JDK yükleyin 5+ sistem.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java yüklü ve / usr / java / default için JAVA_HOME ayarlanır
2) Apache Hadoop'un yükleyin 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Kurulum Apache Hadoop'un yapılandırma ve başlangıç Hadoop'un süreçleri.
$ /usr / sbin / Hadoop-kurulum-tek-node.sh
Kurulum sihirbazı kurulum Hadoop'un için soruların bir listesini size rehberlik edecektir. Hadoop'un tüm sorulara 'Y' yanıtladıktan sonra çalıştırıyor olmalıdır.
Kendiniz için HDFS üzerinde bir kullanıcı hesabı oluşturun.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Çoklu düğümler Hadoop'un kurulum
1) JDK ve Hadoop'un yükleyin hem 0.20.204.0 Tüm düğümlerde RPM'ler
2) Tüm düğümlerde Hadoop yapılandırması oluşturun:
$ /usr / sbin / Hadoop-kurulum-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Nerede ${namenode} ve ${jobtracker} namenode ve jobtracker ana bilgisayar adını ile değiştirilmesi gerekir.
3) Biçim namenode ve kurulum varsayılan HDFS düzeni.
$ /usr / sbin / Hadoop-kurulum-hdfs.sh
4) Tüm veri düğümleri başlatın.
$ /etc / init.d / Hadoop'un veri düğümü başlar
5) Iş izci düğümü başlatın.
$ /etc / init.d / Hadoop-jobtracker başlangıç
6) Görev izci düğümleri başlatın.
$ /etc / init.d / Hadoop'un görev izci marş
7) Kendiniz için HDFS üzerinde bir kullanıcı hesabı oluşturun.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Hadoop'un için Kurulum Ortamı
$ vi ~ /. bash_profile
JAVA_HOME için INSERT modunda set yolda
İhracat JAVA_HOME
Tıklatarak dosyayı kaydedin esc:wq
. Bash_profile çalıştırın
$ source ~ /. bash_profile
Hadoop'un Çevre dosyasında JAVA_HOME yolunu ayarlama
$ /etc / Hadoop'un / Hadoop'un-env.sh
D) Hadoop'un için Yapılandırma
Aşağıdaki kullanın:
conf / core-site.xml:
| <yapılandırma> |
| <özellik> |
| <isim>fs.default.name</isim> |
| <değer>hdfs://localhost:9000</değer> |
| </özellik> |
| </yapılandırma> |
conf / hdfs-site.xml:
| <yapılandırma> |
| <özellik> |
| <isim>dfs.replication</isim> |
| <değer>1</değer> |
| </özellik> |
| </yapılandırma> |
conf / mapred-site.xml:
| <yapılandırma> |
| <özellik> |
| <isim>mapred.job.tracker</isim> |
| <değer>localhost:9001</değer> |
| </özellik> |
| </yapılandırma> |
O) Hadoop'un Komutlar
$ Hadoop
$ Hadoop namenode format (Namenode biçimlendirin, Diye sorarsam
basın 'Y' cevap)
$ Hadoop'un adı düğümünü (Namenode başlayın)
$ bulmak / -start-dfs.sh isim (dizinde dosyayı bulmak)
$ cd usr / sbin (Ilgili dizine gidin doğrudan)
$ start-dfs.sh
$ start-mapred.sh
$ Hadoop fs-ls / (HDFS kök klasörü gösterir)
$ hadooop input/file01 / input/file01 fs-koymak (Yerel input/file01 kopyala
HDFS root / input/file01)
