Kami akan menerangkan persediaan Hadoop pada nod tunggal dan berbilang nod. The Hadoop environment setup and configuration will be described in details. Pertama anda perlu memuat turun perisian berikut (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Single nod sistem Hadoop persediaan
1) Pasang JDK pada Red Hat atau CentOS 5+ sistem.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Jawa dipasang dan ditetapkan JAVA_HOME / usr / java / default
2) Pasang Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Persediaan Apache Hadoop konfigurasi dan mula proses Hadoop.
$ /usr / sbin / Hadoop-persediaan tunggal node.sh
Wizard persediaan akan membimbing anda melalui senarai soalan untuk persediaan Hadoop. Hadoop harus berjalan selepas menjawab 'Y' untuk semua soalan.
Buat akaun pengguna pada HDFS untuk diri sendiri.
$ /usr / sbin / Hadoop-mewujudkan-user.sh-u $ USER
B) Multi-nod Hadoop persediaan
1) Pasang kedua-dua JDK dan Hadoop 0.20.204.0 RPMs pada semua nod
2) Menjana konfigurasi Hadoop pada semua nod:
$ /usr / sbin / Hadoop-persediaan-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Jika ${namenode} dan ${jobtracker} hendaklah digantikan dengan nama host daripada namenode dan jobtracker.
3) Format namenode dan persediaan lalai HDFS susun atur.
$ /usr / sbin / Hadoop-persediaan-hdfs.sh
4) Mula semua nod data.
$ /etc / init.d / Hadoop-datanode permulaan
5) Mula kerja nod tracker.
$ /etc / init.d / Hadoop-jobtracker permulaan
6) Mula nod tracker tugas.
$ /etc / init.d / Hadoop-tugas tracker starter
7) Buat akaun pengguna pada HDFS untuk diri sendiri.
$ /usr / sbin / Hadoop-mewujudkan-user.sh-u $ USER
C) Alam Sekitar Persediaan untuk Hadoop
$ vi ~ /. bash_profile
Dalam INSERT laluan yang telah ditetapkan mod untuk JAVA_HOME
Eksport JAVA_HOME
Simpan fail dengan mengklik esc:WQ
Main bash_profile.
$ sumber ~ /. bash_profile
Tetapkan laluan JAVA_HOME dalam fail Alam Sekitar Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Tatarajah untuk Hadoop
Gunakan berikut:
conf / teras-site.xml:
| <konfigurasi> |
| <harta> |
| <nama>fs.default.name</nama> |
| <nilai>hdfs://localhost:9000</nilai> |
| </harta> |
| </konfigurasi> |
conf / hdfs-site.xml:
| <konfigurasi> |
| <harta> |
| <nama>dfs.replication</nama> |
| <nilai>1</nilai> |
| </harta> |
| </konfigurasi> |
conf / mapred-site.xml:
| <konfigurasi> |
| <harta> |
| <nama>mapred.job.tracker</nama> |
| <nilai>localhost:9001</nilai> |
| </harta> |
| </konfigurasi> |
Ia) Hadoop Perintah
$ Hadoop
$ Hadoop namenode-format (Format namenode, Jika meminta untuk
menjawab tekan 'Y')
$ Hadoop NameNode (Mulakan namenode)
$ mencari / -menamakan permulaan-dfs.sh (mencari fail dalam direktori)
$ cd usr / sbin (Pergi ke direktori masing-masing secara terus)
$ memulakan dfs.sh
$ permulaan mapred.sh
$ Hadoop fs-ls / (Menunjukkan folder akar HDFS)
$ hadooop fs-meletakkan input/file01 / input/file01 (Salin input/file01 tempatan untuk
HDFS akar / input/file01)
