წლის : Hadoop ნაკადი არის ძლიერი კომუნალური რომელიც მოდის Hadoop distribution.The ძირითადი კონცეფცია Hadoop ბაზა გაყოფილი სამუშაოს,პროცესის პარალელურად და შემდეგ შეუერთდება მას უკან მორჩებით result.So არსებობს ორი ძირითადი კომპონენტი ჩართული ამ ჩარჩო.
a) რუკა განაცხადის
ბ) შემცირება განაცხადის
Hadoop ნაკადი უტილიტა გაძლევთ დაწერა რუკა / შემცირება განაცხადების ნებისმიერ ენაზე, რომელიც შეუძლია მუშაობა STDIN და STDOUT.
წავიკითხე თქვენი შესავალი სტატიის შესახებ Hadoop ნაკადი. მივხვდი, რომ ეს ნამდვილად სასარგებლოა. მაგრამ მე უფრო შეკითხვებს, თუ როგორ უნდა გამოიყენოთ ეს.
ერთ-ერთი მთავარი საკითხი მინდა ვთხოვო არის თუ ჩემი Perl სკრიპტი მეტი სჭირდება, ვიდრე ერთი არგუმენტი, როგორ შეიძლება მე გაივლის მათ ბრძანების ხაზი?
For example, მე გამოიყენება შემდეგი ბრძანება, სადაც მე მრავალი საშუალებებით გაუმკლავდეს მრავალჯერადი არგუმენტები. მაგრამ სინამდვილეში, მონაცემთა შეტანის არის მხოლოდ პირველი. ყველა სხვა არის რამოდენიმე რესურსების Perl სკრიპტი უნდა წაიკითხოთ, რათა დაეხმაროს დამუშავება პირველი მონაცემთა შეყვანის.
Hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input სიები -input dict -input nlp_research / deid 1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - ფაილი deid_mapper.pl
თუ შეგიძლიათ მომეცით ხელმძღვანელობით, რომელიც იქნება დიდი!