TechAlpine – All About Technology

เราจะอธิบายการติดตั้ง Hadoop เมื่อโหนดเดียวและโหนดหลาย. The Hadoop environment setup and configuration will be described in details. แรกที่คุณต้องดาวน์โหลดซอฟต์แวร์ต่อไปนี้ (รอบต่อนาที).

• รอบต่อนาที Java JDK
• Hadoop Apache 0.20.204.0 รอบต่อนาที

A) โหนดการติดตั้งระบบเดียว Hadoop

1) เมื่อติดตั้ง JDK Red Hat หรือ CentOS 5+ ระบบ.

$ ./jdk-6u26-linux-x64-rpm.bin.sh

Java มีการติดตั้งและตั้งค่า JAVA_HOME / usr / java / default

2) ติดตั้ง Apache Hadoop 0.20.204.

$ รอบต่อนาที-i hadoop-0.20.204.0-1.i386.rpm

3) ติดตั้ง Apache Hadoop การกำหนดค่าและกระบวนการเริ่มต้น Hadoop.

$ /usr / sbin / hadoop-เซ็ตอัพเดียว node.sh

วิซาร์ดการตั้งจะแนะนำคุณผ่านรายการของคำถามที่จะติดตั้ง Hadoop. Hadoop ควรจะทำงานหลังจากตอบ 'Y' เพื่อตอบคำถามทั้งหมด.

สร้างบัญชีผู้ใช้เมื่อ HDFS สำหรับตัวคุณเอง.

$ /usr / sbin / hadoop-create-user.sh-u $ user

B) หลายโหนด-ติดตั้ง Hadoop

1) ติดตั้งทั้งสอง JDK และ Hadoop 0.20.204.0 RPMs บนโหนทั้งหมด

2) สร้างการกำหนดค่า hadoop บนโหนทั้งหมด:

$ /usr / sbin / hadoop-ตั้งค่า conf.sh \

  --namenode-url=hdfs://${namenode}:9000/ \

  --jobtracker-url=${jobtracker}:9001 \

  --conf-dir=/etc/hadoop \

  --hdfs-dir=/var/lib/hadoop/hdfs \

  --namenode-dir=/var/lib/hadoop/hdfs/namenode \

  --mapred-dir=/var/lib/hadoop/mapred \

  --datanode-dir=/var/lib/hadoop/hdfs/data \

  --log-dir=/var/log/hadoop \

  --auto

ที่ไหน ${namenode} และ ${jobtracker} ควรถูกแทนที่ด้วยชื่อโฮสต์ของ namenode และ jobtracker.

3) รูปแบบและ namenode ตั้งค่าเริ่มต้นรูปแบบ HDFS.

$ /usr / sbin / hadoop-ตั้งค่า hdfs.sh

4) เริ่มโหนดข้อมูลทั้งหมด.

$ /เริ่มต้น etc / init.d / hadoop-datanode

5) เริ่มต้นงานโหนดติดตาม.

$ /เริ่มต้น etc / init.d / hadoop-jobtracker

6) เริ่มโหนดติดตามงาน.

$ /etc / init.d / Hadoop-งานเริ่มต้นติดตาม

7) สร้างบัญชีผู้ใช้เมื่อ HDFS สำหรับตัวคุณเอง.

$ /usr / sbin / hadoop-create-user.sh-u $ user

C) สิ่งแวดล้อมการตั้งค่าสำหรับ Hadoop

$ vi ~ bash_profile /.

ในการแทรกเส้นทางการตั้งค่าโหมดสำหรับ JAVA_HOME

JAVA_HOME ส่งออก

บันทึกแฟ้มโดยคลิก ESC:WQ

เรียก bash_profile.

$ แหล่ง ~ bash_profile /.

กำหนดเส้นทาง JAVA_HOME ในไฟล์สิ่งแวดล้อม Hadoop

$ /etc / Hadoop / Hadoop-env.sh

D) การกำหนดค่าสำหรับ Hadoop

ใช้ต่อไปนี้:

conf / หลัก site.xml-:

conf / HDFS-site.xml:

conf / mapred-site.xml:

มัน) คำสั่ง Hadoop

$ hadoop
$ hadoop namenode รูปแบบ (จัดรูปแบบ namenode, ถ้าขอให้
ตอบกด 'Y')
$ NameNode hadoop (เริ่ม namenode)
$ หา / -ชื่อเริ่มต้น dfs.sh (หาไฟล์ในไดเรกทอรี)
$ usr cd / sbin (ไปที่ไดเรกทอรีนั้นโดยตรง)
$ เริ่มต้น dfs.sh
$ เริ่มต้น mapred.sh-

$ hadoop fs-ls / (แสดงให้เห็นโฟลเดอร์ราก HDFS)
$ hadooop fs-ใส่ input/file01 / input/file01 (คัดลอก input/file01 ท้องถิ่นเพื่อ
HDFS ราก / input/file01)

Share on Facebook

Tweet

Follow us

Save