Év : Hadoop streaming is a powerful utility which comes with Hadoop distribution.The basic concept of Hadoop framework is to split the job,process it in parallel and then join it back to get the end result.So there are two main components involved in this framework.
a) Map application
b) Reduce application
The Hadoop streaming utility allows you to write Map/Reduce applications in any language that is capable of working with STDIN and STDOUT.
Olvastam a cikket a bevezetés Hadoop streaming. Azt találták, hogy igazán hasznos. De további kérdései vannak, hogyan kell használni.
Ennek egyik fő kérdés, amit szeretnék kérdezni, ha én perl script többre van szüksége, mint egy érv, hogyan adja át őket, hogy a parancssor?
For example, Régebben az alábbi parancsot, ahol én több bemenettel kezelni több érvek. De valójában, Az adatbevitel csak az elsőt. Minden más csak néhány forrás a szkriptet kell értelmezni, hogy segítsen feldolgozni az első adatbeviteli.
Hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input listák -input dict -input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - fájl deid_mapper.pl
Ha tud adni nekem egy kis iránymutatást, jó lenne!