Roky : Hadoop streaming je mocný nástroj, který je dodáván s Hadoop distribution.The základní koncept rámce Hadoop je rozdělit práci,jeho zpracování paralelně a pak jej připojit zpět, aby konec result.So existují dvě hlavní složky podílející se na tomto rámci.
A) Mapová aplikace
b) snížit aplikace
Hadoop streaming nástroj umožňuje psát Map / Snížit aplikace v jakémkoli jazyce, který je schopen pracovat s STDIN a STDOUT.
Četl jsem váš úvodní článek o Hadoop streamování. Zjistil jsem to opravdu užitečné. Ale mám další otázky o tom, jak ji používat.
Jedním z hlavních otázka, chci se zeptat, jestli moje perl skript potřebuje více než jeden argument, Jak mohu předávat je do příkazového řádku?
For example, Použil jsem následující příkaz, kde jsem použil více vstupů zpracovat více argumentů. Ale ve skutečnosti, vstupní data je jen první. Všechny ostatní jsou jen některé zdroje Perl skript potřebuje ke čtení na pomoc zpracovat první vstup dat.
Hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input seznamy -input dict -input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - soubor deid_mapper.pl
Pokud můžete mi dát nějaké vodítko, to by bylo skvělé!