Lata : Hadoop Streaming to potężne narzędzie, które pochodzi z Hadoop distribution.The podstawowej koncepcji Hadoop ram jest, aby podzielić pracę,przetwarza je równolegle, a następnie dołączyć go z powrotem, aby dostać się do końca result.So istnieją dwa główne komponenty uczestniczące w tym kontekście.
za) aplikacja mapy
b) zmniejszyć aplikację
Narzędzie strumieniowe Hadoop pozwala pisać Map / Reduce aplikacji w dowolnym języku, który jest zdolny do pracy z stdin i standardowe wyjście.
Czytałem twój artykuł o wprowadzenie streamingu Hadoop. Uważam, że to bardzo pomocne. Ale mam więcej pytań, jak z niego korzystać.
Jedno główne pytanie chcę zadać to czy mój skrypt Perl potrzebuje więcej niż jeden argument, Jak mogę przekazać je do linii poleceń?
For example, Kiedyś następującą komendę, gdzie użyłem wiele wejść do obsługi wielu argumentów. Ale właściwie, wprowadzanie danych jest tylko pierwsza. Wszyscy inni są tylko niektóre zasoby Perl skrypt musi przeczytać, by pomóc przetwarzać pierwsze wejście danych.
Hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input listy -input DICT -input nlp_research / deid-1,1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -Output perl_output -mapper deid_mapper.pl - plik deid_mapper.pl
Jeśli możesz dać mi jakieś wskazówki, byłoby świetnie!