Jahre : Hadoop Streaming ist ein leistungsfähiges Dienstprogramm, das mit Hadoop distribution.The Grundkonzept Hadoop Framework kommt, ist, um die Arbeit aufgeteilt,verarbeiten sie parallel und dann kommen sie zurück, um das Ende result.So gibt es zwei Hauptkomponenten in diesem Rahmen beteiligen.
ein) Map-Anwendung
b) Reduzieren Anwendung
Die Hadoop Streaming-Programm können Sie Map schreiben / Reduzieren Anwendungen in jeder Sprache, die fähig ist, mit STDIN und STDOUT ist.
Ich lese Ihre Einführung Artikel über Hadoop Streaming. Ich fand es sehr hilfreich. Aber ich habe mehr Fragen darüber, wie es zu benutzen.
Eine der wichtigsten Fragen möchte ich fragen, wenn mein Perl-Skript mehr als ein Argument braucht, wie kann ich sie an die Befehlszeile übergeben?
For example, Ich benutzte den folgenden Befehl ein, wo ich mehrere Eingänge mehrere Argumente zu handhaben. Aber in der Tat, die Dateneingabe ist nur der erste. Alle anderen sind nur einige Ressourcen das Perl-Skript in lesen muss, um die ersten Dateneingang verarbeiten.
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input Listen -input dict -input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -Ausgang perl_output -mapper deid_mapper.pl - Datei deid_mapper.pl
Wenn Sie einige Hinweise geben kann mir, Das wäre großartig!