什麼是Hadoop流?

歲月 : Hadoop的數據流是一個功能強大的工具,它與Hadoop分佈。Hadoop框架的基本概念是分裂的工作,並行處理,然後再加入到得到最終result.So,在此框架內,有兩個主要組成部分回.
一) 地圖應用程序
b) 減少應用程序

在Hadoop流實用程序允許您STDIN和STDOUT的工作,能夠在任何語言編寫的Map / Reduce應用程序.

有人認為「什麼是Hadoop流?

  1. Dingcheng Li

    我了解Hadoop的流媒體的介紹文章. 我發現它非常有幫助. 但是,我對如何使用它更多的問題.

    我要問的一個主要問題是,如果我的perl腳本需要多個參數, 我怎樣才能將它們傳遞到命令行?

    For example, 我用下面的命令, 在這裡我使用了多個輸入來處理多個參數. 但事實上,, 數據輸入是只是第一個. 所有的人都只是一些資源perl腳本需要讀取,以幫助處理第一數據輸入.

    Hadoop的罐子/usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution =假-D mapred.task.timeout = 1200 - 輸入nlp_research /edt_nlp_data/3000001.txt -input shift.txt - 輸入列表 - 輸入字典 - 輸入nlp_research / DEID-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat - 輸出perl_output -mapper deid_mapper.pl - 文件deid_mapper.pl

    如果你能給我一些指導, 那太好了!

============================================= ============================================== 在亞馬遜上購買最佳技術書籍,en,電工CT Chestnutelectric,en
============================================== ---------------------------------------------------------------- electrician ct chestnutelectric
error

Enjoy this blog? Please spread the word :)

Follow by Email
LinkedIn
LinkedIn
Share