Biz bir node və çox node haqqında Hadoop quraşdırma təsvir edəcək. The Hadoop environment setup and configuration will be described in details. Birinci aşağıdakı proqram download lazımdır (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Subay node sistemi Hadoop quraşdırma
1) Bir Red Hat və ya CentOS haqqında JDK Yükle 5+ sistem.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java yüklü / usr / java / default üçün JAVA_HOME müəyyən edilir
2) Apache Hadoop Yükle 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop konfiqurasiya və start Hadoop proseslər.
$ /usr / sbin / hadoop-quraşdırma-tək node.sh
Qurma köməkçisindən quraşdırma Hadoop suallar siyahısını size yol edəcək. Hadoop bütün suallara 'Y' cavab sonra yayınlanmaya olmalıdır.
Özünüz üçün HDFS bir istifadəçi hesabı yaradın.
$ /usr / sbin / hadoop-yaratmaq-user.sh-u $ USER
B) Multi-qovşaqlarının Hadoop quraşdırma
1) Bu JDK və Hadoop Yükle həm 0.20.204.0 Bütün qovşaqlarının haqqında RPMs
2) Bütün qovşaqlarının haqqında hadoop konfiqurasiya Yarat:
$ /usr / sbin / hadoop-quraşdırma-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Hara ${namenode} və ${jobtracker} namenode və jobtracker və kompüter adı ilə əvəz olunmalıdır.
3) Format namenode və quraşdırma default HDFS layout.
$ /usr / sbin / hadoop-quraşdırma-hdfs.sh
4) Bütün data qovşaqlarının Start.
$ /etc / init.d / hadoop-datanode start
5) Iş tracker node Start.
$ /etc / init.d / hadoop-jobtracker start
6) Məsələ tracker qovşaqlarının Start.
$ /etc / init.d / Hadoop-vəzifəsi tracker starter
7) Özünüz üçün HDFS bir istifadəçi hesabı yaradın.
$ /usr / sbin / hadoop-yaratmaq-user.sh-u $ USER
C) Hadoop üçün Quraşdırma Environment
$ vi ~ /. bash_profile
JAVA_HOME üçün INSERT rejimi set yolu
İxrac JAVA_HOME
Tıklayarak fayl saxla esc:wq
Edir. Bash_profile başla
$ mənbə ~ /. bash_profile
Hadoop Ekologiya fayl JAVA_HOME yol göstərilməyib
$ /etc / Hadoop / Hadoop-env.sh
D) Hadoop konfiqurasiya
Aşağıdakı istifadə edin:
conf / core-site.xml:
| <konfiqurasiya> |
| <əmlak> |
| <ad>fs.default.name</ad> |
| <dəyər>hdfs://localhost:9000</dəyər> |
| </əmlak> |
| </konfiqurasiya> |
conf / hdfs-site.xml:
| <konfiqurasiya> |
| <əmlak> |
| <ad>dfs.replication</ad> |
| <dəyər>1</dəyər> |
| </əmlak> |
| </konfiqurasiya> |
conf / mapred-site.xml:
| <konfiqurasiya> |
| <əmlak> |
| <ad>mapred.job.tracker</ad> |
| <dəyər>localhost:9001</dəyər> |
| </əmlak> |
| </konfiqurasiya> |
O) Hadoop Əmrləri
$ hadoop
$ hadoop namenode-format (Bu namenode Format, Xahiş edin
mətbuat 'Y' cavab)
$ hadoop NameNode (Bu namenode Start)
$ tapmaq / -başlanğıc dfs.sh adı (kataloq faylı tapmaq)
$ cd usr / sbin (Müvafiq dizine getmək birbaşa)
$ start-dfs.sh
$ başlanğıc mapred.sh
$ hadoop fs-ls / (Bu HDFS kök qovluq göstərir)
$ hadooop input/file01 / input/file01 fs-qoymaq (Yerli input/file01 kopyala
HDFS root / input/file01)
