Ми опишемо Hadoop установки на одному вузлі і кілька вузлів. Установка Hadoop навколишнього середовища і конфігурація буде описана в деталях. Для початку потрібно скачати наступне програмне забезпечення (оборотів в хвилину).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Одного вузла системи Hadoop установки
1) Встановити JDK на Red Hat або CentOS 5+ система.
$ ./JDK 6u26 - Linux-x64-rpm.bin.sh
Java встановлена і встановити JAVA_HOME в / USR / Java / за замовчуванням
2) Установка Apache Hadoop 0.20.204.
$ хв-я Hadoop-0.20.204.0-1.i386.rpm
3) Установка Apache Hadoop конфігурації і почала Hadoop процесів.
$ /USR / sbin / Hadoop-налаштування-одним node.sh
Майстер налаштування проведе вас через список питань для установки Hadoop. Hadoop повинен бути запущений після відповіді 'Y' на всі питання.
Створення облікового запису користувача на HDFS для себе.
$ /USR / sbin / Hadoop-Create-user.sh-U $ USER
Б В) Multi-вузлів Hadoop установки
1) Встановити як JDK і Hadoop 0.20.204.0 RPM-пакети на всіх вузлах
2) Створення Hadoop конфігурації на всіх вузлах:
$ /USR / sbin / Hadoop-Setup-conf.sh \
--NameNode-URL = HDFS://${NameNode}:9000/ \
--JobTracker URL = ${JobTracker}:9001 \
--конф-реж = / і т.д. / Hadoop \
--HDFS-Dir = / VAR / Бібліотека / Hadoop / HDFS \
--NameNode-реж = / Var / Бібліотека / Hadoop / HDFS / NameNode \
--mapred-реж = / Var / Бібліотека / Hadoop / mapred \
--DataNode-реж = / Var / Бібліотека / Hadoop / HDFS / дані \
--лог-реж = / Var / Журнал / Hadoop \
--автоматичний
Там, де ${NameNode} і ${JobTracker} повинні бути замінені на ім'я хоста NameNode і JobTracker.
3) Формат NameNode і налаштування за замовчуванням HDFS макета.
$ /USR / sbin / Hadoop-Setup-hdfs.sh
4) Почати всі дані вузли.
$ /і т.д. / init.d / Hadoop-DataNode початку
5) Почати роботу вузла трекер.
$ /і т.д. / init.d / Hadoop-JobTracker початку
6) Початок вузлів завдання трекера.
$ /і т.д. / init.d / Hadoop-трекер завдання стартер
7) Створення облікового запису користувача на HDFS для себе.
$ /USR / sbin / Hadoop-Create-user.sh-U $ USER
C) Налаштування середовища для Hadoop
$ І. ~ /. Bash_profile
У режимі вставки набір шлях для JAVA_HOME
Експорт JAVA_HOME
Збережіть файл, натиснувши ESC:WQ
Запустіть файл. Bash_profile
$ Джерело ~ /. Bash_profile
Встановіть JAVA_HOME шлях в файлі навколишнього середовища Hadoop
$ /і т.д. / Hadoop / Hadoop-env.sh
D) Конфігурація для Hadoop
Використовуйте наступні:
конф / ядро-site.xml:
| <конфігурація> |
| <власність> |
| <назва>fs.default.name</назва> |
| <значення>HDFS://локальний:9000</значення> |
| </власність> |
| </конфігурація> |
конф / HDFS-site.xml:
| <конфігурація> |
| <власність> |
| <назва>dfs.replication</назва> |
| <значення>1</значення> |
| </власність> |
| </конфігурація> |
конф / mapred-site.xml:
| <конфігурація> |
| <власність> |
| <назва>mapred.job.tracker</назва> |
| <значення>локальний:9001</значення> |
| </власність> |
| </конфігурація> |
Це) Hadoop команд
$ Hadoop
$ Hadoop NameNode-форматі (Відформатуйте NameNode, Якщо попросити
відповісти натисніть 'Y')
$ Hadoop NameNode (Початок NameNode)
$ знайти / -назвати запуск dfs.sh (знайти файл в каталозі)
$ CD USR / sbin (Перейти на відповідний каталог безпосередньо)
$ запуск dfs.sh
$ запуск mapred.sh
$ Hadoop FS-LS / (Показує папки HDFS кореневої)
$ hadooop FS-покласти input/file01 / input/file01 (Скопіюйте місцевих input/file01 до
HDFS корінь / input/file01)
