Χρόνια : Hadoop streaming is a powerful utility which comes with Hadoop distribution.The basic concept of Hadoop framework is to split the job,επεξεργαστεί αυτό παράλληλα και στη συνέχεια να ενταχθούν πίσω για να πάρει στο τέλος result.So υπάρχουν δύο κύριες συνιστώσες που συμμετέχουν σε αυτό το πλαίσιο.
ένα) εφαρμογή χάρτη
β) Μειώστε την εφαρμογή
Το βοηθητικό ροής Hadoop σας επιτρέπει να γράφετε Χάρτης / Μείωση εφαρμογών σε οποιαδήποτε γλώσσα η οποία είναι σε θέση να εργάζονται με STDIN και STDOUT.
Διάβασα το άρθρο σας σχετικά με την εισαγωγή Hadoop ροής. Το βρήκα πραγματικά χρήσιμη. Αλλά έχω περισσότερες ερωτήσεις σχετικά με το πώς να το χρησιμοποιήσετε.
Ένα βασικό ερώτημα που θέλω να ρωτήσω είναι αν το σενάριο Perl μου χρειάζεται κάτι περισσότερο από ένα επιχείρημα, πώς μπορώ να τους περάσει τη γραμμή εντολών?
For example, Χρησιμοποίησα την ακόλουθη εντολή, όπου χρησιμοποιούνται πολλαπλές εισόδους για να χειριστεί πολλαπλά επιχειρήματα. Αλλά στην πραγματικότητα, η εισαγωγή δεδομένων είναι μόνο η πρώτη. Όλα τα άλλα είναι μερικά μόνο από πόρους της perl script πρέπει να διαβάσει για να βοηθήσει τη διαδικασία της πρώτης εισόδου δεδομένων.
Hadoop βάζο /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -εισαγωγή nlp_research /edt_nlp_data/3000001.txt -εισαγωγή shift.txt -εισαγωγή λίστες -εισαγωγή dict -εισαγωγή nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat-εξόδου perl_output -mapper deid_mapper.pl - deid_mapper.pl αρχείο
Αν μπορείτε να μου δώσει κάποιες κατευθύνσεις, αυτό θα ήταν υπέροχο!