Urteak : Hadoop streaming is a powerful utility which comes with Hadoop distribution.The basic concept of Hadoop framework is to split the job,prozesatu paraleloan eta gero egin du atzera amaieran eskuratu result.So daude esparru honetan parte hartzen duten bi osagai nagusiak.
bat) Map aplikazioa
b) Murriztu aplikazioa
The Hadoop streaming erabilgarritasun ahalbidetzen Map idatzi behar duzu / aplikazio murriztea dela STDIN eta STDOUTera lan egiteko gai den edozein hizkuntzatan.
Zure sarrera hadoop streaming buruzko artikulu irakurri dut. Benetan lagungarria aurkitu dut. Baina, nola erabiltzen den buruzko galdera gehiago behar dut.
One galdera nagusia eskatu nahi dut nire perl script argumentu bat baino gehiago behar izanez gero,, nola egin dezaket horiek gainditu komando lerroari dut?
For example, honela egiten dut, non hainbat sarrera erabiliko dut argumentu bat baino gehiago kudeatzeko. Baina, hain zuzen ere, Sarrera datu lehen bat besterik ez da. Beste guztiak, besterik gabe, zenbait baliabide Perl script beharra ere irakurtzeko prozesatu lehen datuen sarrera laguntzeko prest.
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input zerrendak -input dict -input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - fitxategi deid_mapper.pl
zuk eman ahal dit bada orientazio batzuk, handia izango litzateke!