Anos : Hadoop streaming is a powerful utility which comes with Hadoop distribution.The basic concept of Hadoop framework is to split the job,proceso-lo en paralelo e despois xunto a lo de volta para o final result.So existen dous compoñentes principais implicados neste cadro.
un) aplicación de mapa
b) reducir aplicación
A utilidade de transmisión Hadoop permite escribir Mapa / Reducir aplicacións en calquera linguaxe que é capaz de traballar con STDIN e saída estándar.
Lin seu artigo sobre a introdución de streaming do Hadoop. Eu penso moi útil. Pero eu teño máis preguntas sobre como usalo.
Cuestión principal que quero preguntar é se o meu script Perl precisa máis que un argumento, como podo paso-los para a liña de comandos?
For example, Eu usei a seguinte orde, onde eu adoitaba múltiples entradas para tratar con varios argumentos. Pero en realidade, a entrada de datos é só o primeiro. Todos os outros son só algúns recursos do script Perl que ler para axudar a procesar a primeira entrada de datos.
Hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar D mapred.reduce.tasks = 0 D mapred.map.tasks.speculative.execution = false D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input listas -input dict -input nlp_research / CEDD-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - deid_mapper.pl arquivo
Se me pode dar algunha orientación, sería xenial!