ປີ : Hadoop streaming is a powerful utility which comes with Hadoop distribution.The basic concept of Hadoop framework is to split the job,ປຸງແຕ່ງໃນຂະຫນານແລະຫຼັງຈາກນັ້ນເຂົ້າຮ່ວມກັບຄືນໄປບ່ອນທີ່ຈະໄດ້ຮັບທີ່ສຸດ result.So ມີສອງອົງປະກອບຕົ້ນຕໍຂອງການມີສ່ວນຮ່ວມໃນໂຄງຮ່າງການນີ້.
ເປັນ) ຄໍາຮ້ອງສະຫມັກແຜນທີ່
ຂ) ຫຼຸດຜ່ອນການຄໍາຮ້ອງສະຫມັກ
ຜົນປະໂຫຍດນ້ໍາ Hadoop ອະນຸຍາດໃຫ້ທ່ານໃນການຂຽນແຜນທີ່ / ຫຼຸດຜ່ອນຄໍາຮ້ອງສະຫມັກໃນພາສາໃດທີ່ສາມາດເຮັດວຽກຮ່ວມກັບ STDIN ແລະ STDOUT.
ຂ້າພະເຈົ້າໄດ້ອ່ານບົດຄວາມແນະນໍາຂອງທ່ານກ່ຽວກັບການນ້ໍາ hadoop. ຂ້າພະເຈົ້າພົບເຫັນວ່າມັນເປັນປະໂຍດ. ແຕ່ຂ້າພະເຈົ້າມີຄໍາຖາມເພີ່ມເຕີມກ່ຽວກັບວິທີການນໍາໃຊ້ມັນ.
ຫນຶ່ງໃນຄໍາຖາມຕົ້ນຕໍຂ້າພະເຈົ້າຕ້ອງການທີ່ຈະຮ້ອງຂໍໃຫ້ຖ້າຫາກວ່າ script perl ຂອງຂ້າພະເຈົ້າຕ້ອງການຫຼາຍກວ່າຫນຶ່ງການໂຕ້ຖຽງ, ວິທີການຂ້າພະເຈົ້າສາມາດໃຫ້ເຂົາເຈົ້າຜ່ານກັບເສັ້ນຄໍາສັ່ງ?
For example, ຂ້າພະເຈົ້າໃຊ້ຄໍາສັ່ງດັ່ງຕໍ່ໄປນີ້, ບ່ອນທີ່ຂ້າພະເຈົ້ານໍາໃຊ້ປັດໄຈນໍາເຂົ້າຫລາຍໃນການຈັດການການໂຕ້ຖຽງຫຼາຍ. ແຕ່ໃນຄວາມເປັນຈິງ, ການປ້ອນຂໍ້ມູນຂໍ້ມູນແມ່ນພຽງແຕ່ຄັ້ງທໍາອິດທີ່ຫນຶ່ງ. All others are just some resources the perl script needs to read in to help process the first data input.
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks=0 -D mapred.map.tasks.speculative.execution=false -D mapred.task.timeout=12000000 -input nlp_research/edt_nlp_data/3000001.txt -input shift.txt -input lists -input dict -input nlp_research/deid-1.1/deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl -file deid_mapper.pl
If you can give me some guidance, that would be great!