ปี : Hadoop streaming is a powerful utility which comes with Hadoop distribution.The basic concept of Hadoop framework is to split the job,process it in parallel and then join it back to get the end result.So there are two main components involved in this framework.
a) Map application
ข) Reduce application
The Hadoop streaming utility allows you to write Map/Reduce applications in any language that is capable of working with STDIN and STDOUT.
ผมอ่านบทความแนะนำของคุณเกี่ยวกับสตรีมมิ่ง Hadoop. ผมพบว่ามันเป็นประโยชน์จริงๆ. แต่ผมมีคำถามเพิ่มเติมเกี่ยวกับวิธีการใช้งาน.
หนึ่งคำถามหลักที่ฉันต้องการที่จะถามคือถ้า Perl สคริปต์ของฉันต้องการมากกว่าหนึ่งอาร์กิวเมนต์, วิธีการที่ฉันสามารถส่งพวกเขาไปยังบรรทัดคำสั่ง?
For example, ผมใช้คำสั่งต่อไป, ที่ผมใช้ปัจจัยการผลิตหลายที่จะจัดการกับข้อโต้แย้งหลาย. แต่ในความเป็นจริง, การป้อนข้อมูลเป็นเพียงครั้งแรกหนึ่ง. คนอื่น ๆ ทั้งหมดเป็นเพียงทรัพยากรบางอย่าง Perl สคริปต์ความต้องการที่จะอ่านในที่จะช่วยให้การประมวลผลข้อมูลเข้าครั้งแรก.
ขวด Hadoop /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt รายการ -input -input กิงดิค -input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - ไฟล์ deid_mapper.pl
ถ้าคุณสามารถให้ฉันคำแนะนำบางอย่าง, ว่าจะดี!