Ми ћемо описати Хадооп подешавање на једном чвору и мулти НОДЕ. The Hadoop environment setup and configuration will be described in details. Прво морате да преузмете следеће софтвер (рпм).
- Јава ЈДК РПМ
- Апацхе Хадооп 0.20.204.0 РПМ
A) Један чвор систем Хадооп подешавање
1) Инсталирајте ЈДК на Ред Хат или ЦентОС 5+ систем.
$ ./ЈДК-6у26-линук-к64-рпм.бин.сх
Јава је инсталиран и подешен ЈАВА_ХОМЕ у / уср / јава / дефаулт
2) Инсталација Апацхе Хадооп 0.20.204.
$ рпм-и Хадооп-0.20.204.0-1.и386.рпм
3) Инсталација Апацхе Хадооп конфигурација и старт Хадооп процеси.
$ /уср / сбин / Хадооп-сетуп-сингл-ноде.сх
Чаробњак ће вас водити кроз листу питања да сетуп Хадооп. Хадооп треба бити покренут након одговарања 'Д' на сва питања.
Направите кориснички налог за себе на ХДФС.
$ /уср / сбин / Хадооп-цреате-усер.сх-у $ УСЕР
Б) Мулти-чворови Хадооп подешавање
1) Инсталирајте и ЈДК и Хадооп 0.20.204.0 Броју обртаја на свим чворовима
2) Генеришите Хадооп конфигурацију на свим чворовима:
$ /уср / сбин / Хадооп-сетуп-цонф.сх \
--namenode-url=hdfs://${наменоде}:9000/ \
--jobtracker-url=${јобтрацкер}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Где ${наменоде} и ${јобтрацкер} треба бити замењен са хостнаме од наменоде и јобтрацкер.
3) Формат наменоде и подешавање дефаулт ХДФС распоред.
$ /уср / сбин / Хадооп-сетуп-хдфс.сх
4) Почетак свих чворова података.
$ /етц / инит.д / Хадооп-датаноде почетак
5) Почетак посла пратиоца чвор.
$ /етц / инит.д / Хадооп-јобтрацкер почетак
6) Почетак чворове задатака Трацкер.
$ /етц / инит.д / Хадооп-задатак примаоца стартера
7) Направите кориснички налог за себе на ХДФС.
$ /уср / сбин / Хадооп-цреате-усер.сх-у $ УСЕР
Ц) Подешавање окружење за Хадооп
$ ви ~ /. басх_профиле
У ИНСЕРТ путу режиму сет за ЈАВА_ХОМЕ
Извоз ЈАВА_ХОМЕ
Сачувајте датотеку тако што ћете кликнути есц:вк
Покрените басх_профиле.
$ извор ~ /. басх_профиле
Сет ЈАВА_ХОМЕ пут у Хадооп животне фајлу
$ /етц / Хадооп / Хадооп-енв.сх
Д) Конфигурација за Хадооп
Користите следеће:
цонф / цоре-сите.кмл:
| <конфигурација> |
| <имовина> |
| <име>фс.дефаулт.наме</име> |
| <вредност>ХДФС://лоцалхост:9000</вредност> |
| </имовина> |
| </конфигурација> |
цонф / ХДФС-сите.кмл:
| <конфигурација> |
| <имовина> |
| <име>дфс.реплицатион</име> |
| <вредност>1</вредност> |
| </имовина> |
| </конфигурација> |
цонф / мапред-сите.кмл:
| <конфигурација> |
| <имовина> |
| <име>мапред.јоб.трацкер</име> |
| <вредност>лоцалхост:9001</вредност> |
| </имовина> |
| </конфигурација> |
Она) Хадооп Команде
$ Хадооп
$ Хадооп наменоде-формат (Обликујте наменоде, Ако тражите да
одговорите притисните 'Д')
$ Хадооп наменоде (Почетак наменоде)
$ наћи / -поменемо старт-дфс.сх (пронађите датотеку у директоријуму)
$ цд уср / сбин (Иди на одговарајући директоријум директно)
$ старт-дфс.сх
$ старт-мапред.сх
$ Хадооп фс-лс / (Приказује ХДФС роот фолдер)
$ хадоооп фс-пут инпут/филе01 / инпут/филе01 (Копирање локалне инпут/филе01 на
ХДФС роот / инпут/филе01)
