Kami akan menjelaskan pengaturan Hadoop pada node tunggal dan multi-node yang. The Hadoop environment setup and configuration will be described in details. Pertama, Anda perlu men-download perangkat lunak berikut (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Node tunggal sistem Hadoop pengaturan
1) Instal JDK pada Red Hat atau CentOS 5+ sistem.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java terpasang dan set JAVA_HOME ke / usr / java / default
2) Instal Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Pengaturan Apache Hadoop dan Hadoop konfigurasi awal proses.
$ /usr / sbin / Hadoop-setup-tunggal-node.sh
Setup wizard akan memandu Anda melalui daftar pertanyaan untuk setup Hadoop. Hadoop harus berjalan setelah menjawab 'Y' untuk semua pertanyaan.
Buat akun pengguna di HDFS untuk diri sendiri.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
B) Multi-node Hadoop pengaturan
1) Instal kedua JDK dan Hadoop 0.20.204.0 RPM pada semua node
2) Menghasilkan konfigurasi hadoop pada semua node:
$ /usr / sbin / Hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Dimana ${namenode} dan ${jobtracker} harus diganti dengan hostname dari namenode dan jobtracker.
3) Format namenode dan setup default HDFS tata letak.
$ /usr / sbin / Hadoop-setup-hdfs.sh
4) Mulai semua node data yang.
$ /etc / init.d / Hadoop-datanode start
5) Mulai pekerjaan simpul tracker.
$ /etc / init.d / Hadoop-jobtracker start
6) Mulai node tugas tracker.
$ /etc / init.d / Hadoop-tugas tracker pemula
7) Buat akun pengguna di HDFS untuk diri sendiri.
$ /usr / sbin / Hadoop-create-user.sh-u $ USER
C) Pengaturan Lingkungan untuk Hadoop
$ vi ~ /. bash_profile
Dalam set path INSERT modus untuk JAVA_HOME
Ekspor JAVA_HOME
Simpan file dengan mengklik esc:wq
Jalankan bash_profile.
$ sumber ~ /. bash_profile
Set path JAVA_HOME dalam file Hadoop Lingkungan
$ /etc / Hadoop / Hadoop-env.sh
D) Konfigurasi untuk Hadoop
Gunakan sebagai berikut:
conf / inti-site.xml:
| <konfigurasi> |
| <milik> |
| <nama>fs.default.name</nama> |
| <nilai>HDFS://localhost:9000</nilai> |
| </milik> |
| </konfigurasi> |
conf / HDFS-site.xml:
| <konfigurasi> |
| <milik> |
| <nama>dfs.replication</nama> |
| <nilai>1</nilai> |
| </milik> |
| </konfigurasi> |
conf / mapred-site.xml:
| <konfigurasi> |
| <milik> |
| <nama>mapred.job.tracker</nama> |
| <nilai>localhost:9001</nilai> |
| </milik> |
| </konfigurasi> |
Itu) Hadoop Perintah
$ Hadoop
$ Hadoop namenode-format (Format namenode, Jika meminta untuk
menjawab tekan 'Y')
$ Hadoop NameNode (Mulai namenode)
$ menemukan / -nama start-dfs.sh (menemukan file dalam direktori)
$ cd usr / sbin (Pergi ke direktori masing-masing secara langsung)
$ start-dfs.sh
$ start-mapred.sh
$ hadoop fs-ls / (Menunjukkan root folder HDFS)
$ hadooop fs-menempatkan input/file01 / input/file01 (Salin input/file01 lokal untuk
HDFS root / input/file01)
