Мы апішам Hadoop ўстаноўкі на адным вузле і некалькі вузлоў. The Hadoop environment setup and configuration will be described in details. Для пачатку трэба спампаваць наступнае праграмнае забеспячэнне (абаротаў у хвіліну).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Аднаго вузла сістэмы Hadoop ўстаноўкі
1) Ўсталяваць JDK на Red Hat або CentOS 5+ сістэма.
$ ./JDK 6u26 - Linux-x64-rpm.bin.sh
Java ўстаноўлена і ўсталяваць JAVA_HOME ў / USR / Java / па змаўчанні
2) Усталёўка Apache Hadoop 0.20.204.
$ мін-я Hadoop-0.20.204.0-1.i386.rpm
3) Усталёўка Apache Hadoop канфігурацыі і пачала Hadoop працэсаў.
$ /USR / sbin / Hadoop-налады-адным node.sh
Майстар налады правядзе вас праз спіс пытанняў для ўстаноўкі Hadoop. Hadoop павінен быць запушчаны пасля адказу 'Y' на ўсе пытанні.
Стварэнне ўліковага запісу карыстача на HDFS для сябе.
$ /USR / sbin / Hadoop-Create-user.sh-U $ USER
Сі) Multi-вузлоў Hadoop ўстаноўкі
1) Ўсталяваць як JDK і Hadoop 0.20.204.0 RPM-пакеты на ўсіх вузлах
2) Стварэнне Hadoop канфігурацыі на ўсіх вузлах:
$ /USR / sbin / Hadoop-Setup-conf.sh \
--namenode-url=hdfs://${NameNode}:9000/ \
--jobtracker-url=${JobTracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Дзе ${NameNode} і ${JobTracker} павінны быць заменены на імя хаста NameNode і JobTracker.
3) Фармат NameNode і налады па змаўчанні HDFS макета.
$ /USR / sbin / Hadoop-Setup-hdfs.sh
4) Пачаць усё дадзеныя вузлы.
$ /і г.д. / init.d / Hadoop дадзеных вузлом пачатку
5) Пачаць працу вузла трэкер.
$ /і г.д. / init.d / Hadoop-JobTracker пачатку
6) Пачатак вузлоў задача трэкера.
$ /і г.д. / init.d / Hadoop-трэкер задача стартар
7) Стварэнне ўліковага запісу карыстача на HDFS для сябе.
$ /USR / sbin / Hadoop-Create-user.sh-U $ USER
C) Настройка асяроддзя для Hadoop
$ І. ~ /. Bash_profile
У рэжыме ўстаўкі набор шлях для JAVA_HOME
Экспарт JAVA_HOME
Захавайце файл, націснуўшы ESC:WQ
Запусціце файл. Bash_profile
$ Крыніца ~ /. Bash_profile
Усталюйце JAVA_HOME шлях у файле навакольнага асяроддзя Hadoop
$ /і г.д. / Hadoop / Hadoop-env.sh
Рэ) Канфігурацыя для Hadoop
Выкарыстоўвайце наступныя:
конф / ядро-site.xml:
| <канфігурацыя> |
| <ўласнасць> |
| <імя>fs.default.name</імя> |
| <значэнне>HDFS://лакальны:9000</значэнне> |
| </ўласнасць> |
| </канфігурацыя> |
конф / HDFS-site.xml:
| <канфігурацыя> |
| <ўласнасць> |
| <імя>dfs.replication</імя> |
| <значэнне>1</значэнне> |
| </ўласнасць> |
| </канфігурацыя> |
конф / mapred-site.xml:
| <канфігурацыя> |
| <ўласнасць> |
| <імя>mapred.job.tracker</імя> |
| <значэнне>лакальны:9001</значэнне> |
| </ўласнасць> |
| </канфігурацыя> |
Гэта) Hadoop каманд
$ Hadoop
$ Hadoop-фармаце NameNode (Отформатируйте NameNode, Калі папрасіць
адказаць націсніце 'Y')
$ Hadoop NameNode (Пачатак NameNode)
$ знаходзіць / -назваць запуск dfs.sh (знайсці файл у каталогу)
$ CD USR / sbin (Перайсці на адпаведны каталог непасрэдна)
$ запуск dfs.sh
$ запуск mapred.sh
$ Hadoop FS-LS / (Паказвае тэчкі HDFS каранёвай)
$ hadooop FS-пакласці input/file01 / input/file01 (Скапіюйце мясцовых input/file01 да
HDFS корань / input/file01)
