ພວກເຮົາຈະອະທິບາຍ setup Hadoop ສຸດຂໍ້ໂສດແລະຂໍ້ຊົນບັນດາເຜົ່າ. ການຕິດຕັ້ງສະພາບແວດລ້ອມ Hadoop ແລະການຕັ້ງຄ່າຈະໄດ້ຮັບການອະທິບາຍໃນລາຍລະອຽດ. ຫນ້າທໍາອິດທີ່ທ່ານຕ້ອງການ, ເພື່ອດາວໂຫລດຊອບແວດັ່ງຕໍ່ໄປນີ້ (rpm).
- RPM ຈາວາ JDK
- Hadoop ຄົນລະຕ່າງຫາກ 0.20.204.0 RPM
A) ຂໍ້ລະບົບດຽວ setup Hadoop
1) ການຕິດຕັ້ງ JDK ສຸດເປັນແດງຫລີກຫຼື CentOS 5+ ລະບົບ.
$ ./jdk-6u26-Linux-x64-rpm.bin.sh
Java ແມ່ນການຕິດຕັ້ງແລະກໍານົດ JAVA_HOME ກັບ / usr / Java / default
2) ການຕິດຕັ້ງການເຕັ້ນຣໍາກຸ໊ຍ Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup ການເຕັ້ນຣໍາກຸ໊ຍ Hadoop ການຕັ້ງຄ່າແລະຂະບວນການເລີ່ມຕົ້ນ Hadoop.
$ /usr / sbin / hadoop-setup-ດຽວ-node.sh
ຂອງຄວາມຍາວປາ setup ຈະເປັນທິດທາງໃນໃຫ້ທ່ານໂດຍຜ່ານບັນຊີລາຍການຂອງຄໍາຖາມເພື່ອ setup Hadoop. Hadoop ຄວນຈະໄດ້ແລ່ນຫຼັງຈາກຕອບ 'Y' ເພື່ອຄົ້ນຫາຄໍາຖາມທັງຫມົດ.
ສ້າງບັນຊີຜູ້ໃຊ້ກ່ຽວກັບ HDFS ສໍາລັບຕົວທ່ານເອງ.
$ /usr / sbin / hadoop-create-user.sh-u USER $
B) ຫຼາຍຂໍ້-setup Hadoop
1) ການຕິດຕັ້ງທັງສອງ JDK ແລະ Hadoop 0.20.204.0 RPMs ສຸດຂໍ້ທັງຫມົດ
2) ສ້າງຕັ້ງຄ່າ hadoop ສຸດຂໍ້ທັງຫມົດ:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode url =, HDFS://${namenode}:9000/ \
--url jobtracker = ${jobtracker}:9001 \
--conf dir, = / etc / hadoop \
--HDFS dir, = / var / lib / hadoop / HDFS \
--namenode dir, = / var / lib / Hadoop / HDFS / namenode \
--mapred, dir = / var / lib / hadoop / mapred \
--datanode dir, = / var / lib / hadoop / HDFS / ຂໍ້ມູນ \
--ເຂົ້າສູ່ລະບົບ, dir = / var / log / hadoop \
--ອັດຕະໂນມັດ
ບ່ອນທີ່ ${namenode} ແລະ ${jobtracker} ຄວນຈະໄດ້ທົດແທນດ້ວຍ hostname ຂອງ namenode ແລະ jobtracker.
3) ຮູບແບບ namenode ແລະ setup default HDFS ຮູບລັກ.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) ເລີ່ມຂໍ້ມູນທັງຫມົດ.
$ /ແລະອື່ນໆ / init.d / Hadoop ຂໍ້ມູນການເລີ່ມຕົ້ນຂໍ້
5) ເລີ່ມວຽກງານຂໍ້ບົບຕິດຕາມລຸດ.
$ /ການເລີ່ມຕົ້ນແລະອື່ນໆ / init.d / Hadoop-jobtracker
6) ເລີ່ມຂໍ້ບົບຕິດຕາມລຸດວຽກງານ.
$ /ແລະອື່ນໆ / init.d / Hadoop-ວຽກງານທີ່ເພິ່ນເລີ່ມບົບຕິດຕາມລຸດ
7) ສ້າງບັນຊີຜູ້ໃຊ້ກ່ຽວກັບ HDFS ສໍາລັບຕົວທ່ານເອງ.
$ /usr / sbin / hadoop-create-user.sh-u USER $
C) ສະພາບແວດລ້ອມ Setup ສໍາລັບ Hadoop
$ vi ~ bash_profile /.
ໃນການແຊກໄປຕາມເສັ້ນທາງທີ່ກໍານົດໄວ້ສໍາລັບຮູບແບບການ JAVA_HOME
JAVA_HOME ການສົ່ງອອກ
ຊ່ວຍປະຢັດໄຟລ໌ໂດຍການຄລິກ esc:wq
ດໍາເນີນການ bash_profile.
$ ແຫຼ່ງ ~ bash_profile /.
ກໍານົດທາງ JAVA_HOME ໃນເອກະສານສະພາບແວດລ້ອມ Hadoop
$ /ແລະອື່ນໆ / Hadoop / Hadoop-env.sh
D) ການຕັ້ງຄ່າສໍາລັບ Hadoop
ການນໍາໃຊ້ດັ່ງຕໍ່ໄປນີ້:
conf / ຄັນ site.xml-:
| <ການຕັ້ງຄ່າ> |
| <ຊັບສົມບັດ> |
| <ຊື່>fs.default.name</ຊື່> |
| <ມູນຄ່າ>hdfs://localhost:9000</ມູນຄ່າ> |
| </ຊັບສົມບັດ> |
| </ການຕັ້ງຄ່າ> |
conf / hdfs-site.xml:
| <ການຕັ້ງຄ່າ> |
| <ຊັບສົມບັດ> |
| <ຊື່>dfs.replication</ຊື່> |
| <ມູນຄ່າ>1</ມູນຄ່າ> |
| </ຊັບສົມບັດ> |
| </ການຕັ້ງຄ່າ> |
conf / mapred-site.xml:
| <ການຕັ້ງຄ່າ> |
| <ຊັບສົມບັດ> |
| <ຊື່>mapred.job.tracker</ຊື່> |
| <ມູນຄ່າ>localhost:9001</ມູນຄ່າ> |
| </ຊັບສົມບັດ> |
| </ການຕັ້ງຄ່າ> |
ມັນ) ຄໍາສັ່ງ Hadoop
$ hadoop
$ hadoop-ຮູບແບບ NameNode (ຮູບແບບການ namenode, ຖ້າຫາກວ່າຮ້ອງຂໍໃຫ້
ຕອບຫນັງສືພິມ 'Y')
$ NameNode hadoop (ເລີ່ມ namenode ໄດ້)
$ ຊອກຫາ / -ຊື່ເລີ່ມ-dfs.sh (ຊອກຫາໄຟລ໌ໃນລະບົບການ)
$ usr CD / sbin (ໄປຫາລະບົບທີ່ກ່ຽວຂ້ອງໂດຍກົງ)
$ ເລີ່ມ-dfs.sh
$ ເລີ່ມ mapred.sh-
$ hadoop fs-ls / (ສະແດງໃຫ້ເຫັນໃນແຟ້ມຮາກ HDFS)
$ hadooop fs-ໃຫ້ input/file01 / input/file01 (ສໍາເນົາ input/file01 ທ້ອງຖິ່ນເພື່ອ
HDFS ຮາກ / input/file01)
