Гады : Hadoop streaming is a powerful utility which comes with Hadoop distribution.The basic concept of Hadoop framework is to split the job,апрацаваць яго паралельна, а затым далучыцца да яго назад, каб атрымаць канец result.So ёсць два асноўных кампанента, якія ўдзельнічаюць у гэтых рамках.
a) дадатак Map
сі) скарачэнне прымянення
Струменевы ўтыліта Hadoop дазваляе пісаць Map / Reduce прыкладанняў на любой мове, які здольны працаваць з STDIN і STDOUT.
Я прачытаў вашу артыкул пра ўвядзенне Hadoop струменевай. Я знайшоў, што гэта вельмі карысна. Але ў мяне ёсць некалькі пытанняў аб тым, як выкарыстоўваць яго.
Адно галоўнае пытанне, які я хачу спытаць, калі мой Perl скрыпт мае патрэбу ў большай колькасці, чым адзін аргумент, як я магу перадаць іх у камандны радок?
For example, Я выкарыстаў наступную каманду, дзе я выкарыстаў некалькі ўваходаў для апрацоўкі некалькіх аргументаў. Але на самой справе, ўваходныя дадзеныя толькі першае. Усе астатнія з'яўляюцца толькі некаторыя рэсурсы Perl-скрыпт павінен прачытаць, каб дапамагчы працэсу першы ўвод дадзеных.
Hadoop банку /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = хлусня -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input спісы -input дыктуе -input nlp_research / Deid-1,1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - файл deid_mapper.pl
Калі вы можаце даць мне некаторыя рэкамендацыі, што было б выдатна!