Yıl : Hadoop akışı Hadoop çerçeve Hadoop Distribution.The temel kavram ile birlikte gelen güçlü bir yardımcı işi bölmek olduğunu,Paralel onu işlemek ve sonra result.So bu çerçevede yer alan iki ana bileşeni vardır sonunu almak için geri katılabilirsiniz.
Bir) Harita uygulaması
b) Uygulamayı azaltın
Hadoop akış programı / Harita yazma STDIN ve STDOUT ile çalışma yeteneğine sahip herhangi bir dilde uygulamaları azaltın sağlar.
Ben Hadoop akışı hakkında tanıtım makalesini okuyun. Ben gerçekten yararlı buldu. Ama bunu nasıl kullanılacağı hakkında daha fazla sorunuz varsa.
Benim perl komut birden fazla argüman gerekiyorsa ben sormak istiyorum bir ana soru, Ben komut satırı onları geçmek nasıl?
For example, Aşağıdaki komutu kullanılır, Ben birden fazla argüman işlemek için çoklu giriş kullanıldığı yerlerde. Ama aslında, veri girişi sadece ilki. Tüm diğerleri ilk veri giriş işlemek yardımcı olmak için perl komut okumak gerekiyor sadece bazı kaynaklar.
Hadoop kavanoz /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -Input nlp_research /edt_nlp_data/3000001.txt -giriş shift.txt -giriş listeler -giriş dict -giriş nlp_research / deid-1,1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -Çıktı perl_output -mapper deid_mapper.pl - Dosya deid_mapper.pl
Bana bazı rehberlik verebilir, bu harika olurdu!