İllər : Hadoop streaming Hadoop çərçivəsində Hadoop distribution.The əsas anlayışı ilə gəlir ki, güclü kommunal iş split edir,paralel emal və sonra result.So bu çərçivədə məşğul olan iki əsas komponentləri var son almaq üçün geri qoşulmaq.
bir) Map proqram
b) proqram azaltmaq
Hadoop streaming kommunal / Redaktə etmək STDIN və stdout ilə iş etməyə qadirdir hər hansı bir dil proqramları azaltmaq üçün imkan verir.
Mən Hadoop axın haqqında giriş oxumaq. Mən, həqiqətən, faydalı tapılmadı. Amma necə istifadə etmək haqqında daha çox suallar var.
Mənim perl script bir çox dəlil lazımdır, əgər mən soruşmaq istəyirəm bir əsas məsələdir, Mən command line onları keçə bilər necə?
For example, Mən aşağıdakı funksiyanı istifadə, Bir neçə arqumentlər idarə etmək çox giriş istifadə etdiyi. Amma əslində, data giriş yalnız ilk biridir. Bütün digər ilk data daxil emal kömək etmək perl script oxumaq lazımdır yalnız bəzi resursları.
Hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -Input nlp_research /edt_nlp_data/3000001.txt -Input shift.txt -Input siyahıları -Input dict -Input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat Çıxış perl_output -mapper deid_mapper.pl - fayl deid_mapper.pl
Siz mənə bir hidayət verə bilər, əgər, bu əla olardı!