Chúng tôi sẽ mô tả Hadoop thiết lập nút duy nhất và nút đa. The Hadoop environment setup and configuration will be described in details. Trước tiên, bạn cần phải tải về các phần mềm sau đây (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
Một) Hệ thống nút duy nhất Hadoop thiết lập
1) Cài đặt JDK trên Red Hat hoặc CentOS 5+ hệ thống.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java được cài đặt và thiết lập JAVA_HOME / usr / java / default
2) Cài đặt Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Thiết lập cấu hình Apache Hadoop và bắt đầu quá trình Hadoop.
$ /usr / sbin / hadoop-setup-đơn node.sh
Hướng dẫn cài đặt sẽ hướng dẫn bạn thông qua một danh sách các câu hỏi để thiết lập Hadoop. Hadoop nên chạy sau khi trả lời 'Y' cho tất cả các câu hỏi.
Tạo một tài khoản người dùng trên HDFS cho chính mình.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
B) Multi-nút Hadoop thiết lập
1) Cài đặt JDK và Hadoop 0.20.204.0 RPM trên tất cả các nút
2) Tạo hadoop cấu hình trên tất cả các nút:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Đâu ${namenode} và ${jobtracker} nên được thay thế với tên máy của namenode và jobtracker.
3) Định dạng namenode và thiết lập mặc định HDFS bố trí.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Bắt đầu tất cả các nút dữ liệu.
$ /etc / init.d / hadoop-datanode bắt đầu
5) Bắt đầu công việc theo dõi nút.
$ /etc / init.d / hadoop-jobtracker bắt đầu
6) Bắt đầu các nút theo dõi nhiệm vụ.
$ /etc / init.d / Hadoop-nhiệm vụ theo dõi khởi động
7) Tạo một tài khoản người dùng trên HDFS cho chính mình.
$ /usr / sbin / hadoop-create-user.sh-u $ USER
C) Thiết lập môi trường cho Hadoop
$ vi ~ /. bash_profile
Trong INSERT con đường thiết lập chế độ cho JAVA_HOME
Xuất khẩu JAVA_HOME
Lưu file bằng cách bấm esc:wq
Chạy bash_profile.
$ source ~ / bash_profile
Đặt JAVA_HOME đường dẫn trong tập tin Môi trường Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Cấu hình cho Hadoop
Sử dụng sau đây:
conf / core-site.xml:
| <cấu hình> |
| <tài sản> |
| <tên>fs.default.name</tên> |
| <giá trị>hdfs://localhost:9000</giá trị> |
| </tài sản> |
| </cấu hình> |
conf / hdfs-site.xml:
| <cấu hình> |
| <tài sản> |
| <tên>dfs.replication</tên> |
| <giá trị>1</giá trị> |
| </tài sản> |
| </cấu hình> |
conf / mapred-site.xml:
| <cấu hình> |
| <tài sản> |
| <tên>mapred.job.tracker</tên> |
| <giá trị>localhost:9001</giá trị> |
| </tài sản> |
| </cấu hình> |
Nó) Hadoop lệnh
$ hadoop
$ hadoop namenode-định dạng (Định dạng namenode, Nếu yêu cầu
trả lời báo chí 'Y')
$ hadoop NameNode (Bắt đầu namenode)
$ tìm / -tên bắt đầu-dfs.sh (tìm thấy các tập tin trong thư mục)
$ cd usr / sbin (Tới thư mục tương ứng trực tiếp)
$ khởi dfs.sh
$ bắt đầu mapred.sh
$ hadoop fs-ls / (Hiển thị thư mục gốc HDFS)
$ hadooop fs-đặt input/file01 / input/file01 (Copy input/file01 địa phương
HDFS gốc / input/file01)
