Ans : Hadoop en continu est un utilitaire puissant qui vient avec Hadoop distribution.The concept de base du framework Hadoop est de diviser le travail,le traiter en parallèle et puis joindre à nouveau pour obtenir le result.So fin il ya deux composantes principales impliquées dans ce cadre.
un) Carte d'application
b) Réduire l'application
L'utilitaire de streaming Hadoop vous permet d'écrire Map / Reduce applications dans n'importe quelle langue qui est capable de travailler avec STDIN et STDOUT.
Je lis votre article d'introduction à propos de streaming hadoop. Je l'ai trouvé très utile. Mais j'ai d'autres questions sur la façon de l'utiliser.
Une question principale que je veux poser est si mon script perl a besoin de plus d'un argument, comment puis-je les passer à la ligne de commande?
For example, J'utilisé la commande suivante, où je les entrées multiples pour gérer plusieurs arguments. Mais en fait, l'entrée de données se trouve à la première. Tous les autres ne sont que quelques ressources du script perl a besoin de lire pour aider à traiter la première entrée de données.
jar hadoop /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapred.reduce.tasks = 0 -D mapred.map.tasks.speculative.execution = false -D mapred.task.timeout = 12000000 -input nlp_research /edt_nlp_data/3000001.txt -input shift.txt -input listes -input dict -input nlp_research / deid-1.1 / deid.config -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat -output perl_output -mapper deid_mapper.pl - fichier deid_mapper.pl
Si vous pouvez me donner quelques conseils, ça serait génial!