Năm : Hadoop trực tuyến là một tiện ích mạnh mẽ mà đi kèm với Hadoop distribution.The khái niệm cơ bản của khuôn khổ Hadoop là để phân chia các công việc,xử lý nó song song và sau đó tham gia nó trở lại để có được result.So cuối có hai thành phần chính tham gia trong khuôn khổ này.
một) Ứng dụng bản đồ
b) Giảm ứng dụng
Các tiện ích Hadoop trực tuyến cho phép bạn viết Bản đồ / Giảm các ứng dụng trong bất kỳ ngôn ngữ có khả năng làm việc với STDIN và STDOUT.
Tôi đọc bài giới thiệu của bạn về hadoop trực tuyến. Tôi tìm thấy nó thực sự hữu ích. Nhưng tôi có thắc mắc thêm về cách sử dụng nó.
Một câu hỏi chính tôi muốn hỏi là nếu kịch bản perl tôi cần nhiều hơn một đối số, làm thế nào tôi có thể vượt qua họ để dòng lệnh?
For example, Tôi đã sử dụng lệnh sau đây, nơi mà tôi sử dụng nhiều đầu vào để xử lý nhiều đối số. Nhưng trong thực tế, các dữ liệu đầu vào chỉ là một trong những đầu tiên. Tất cả những người khác chỉ là một số tài nguyên các script perl cần đọc để giúp xử lý đầu vào dữ liệu đầu tiên.
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input danh sách -input dict -input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - tập tin deid_mapper.pl
Nếu bạn có thể cung cấp cho tôi một số hướng dẫn, đó sẽ là tuyệt vời!