Ние ще опишем Hadoop настройка на един възел и мулти възел. The Hadoop environment setup and configuration will be described in details. Първо трябва да изтеглите следния софтуер (об).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Един възел Hadoop настройка система
1) Инсталиране на JDK на Red Hat или CentOS 5+ система.
$ ./JDK-6u26-Linux-x64-rpm.bin.sh
Java е инсталиран и настроен JAVA_HOME / ЮЕсАр / Java / по подразбиране
2) Инсталиране на Apache Hadoop 0.20.204.
$ об-I Hadoop-0.20.204.0-1.i386.rpm
3) Настройка на Apache Hadoop конфигурация и старт Hadoop процеси.
$ /ЮЕсАр / sbin / Hadoop настройка на един node.sh
Съветникът за настройка ще ви преведе през списък с въпроси за настройка Hadoop. Hadoop трябва да се работи след като се отговори на "Y" на всички въпроси.
Създаване на потребителски акаунт на HDFS за себе си.
$ /ЮЕсАр / sbin / Hadoop създадете user.sh-U $ USER
B) Multi-възли Hadoop настройка
1) Инсталиране на JDK и Hadoop 0.20.204.0 Оборотите на всички възли
2) Генериране на Hadoop конфигурация на всички възли:
$ /ЮЕсАр / sbin / Hadoop-Setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Където ${namenode} и ${jobtracker} следва да бъде заменен с име на хост на namenode и jobtracker.
3) Формат namenode и настройката по подразбиране HDFS оформление.
$ /ЮЕсАр / sbin / Hadoop-Setup-hdfs.sh
4) Започнете всички данни възли.
$ /и т.н. / init.d / Hadoop datanode началото
5) Започнете работа тракер възел.
$ /и т.н. / init.d / Hadoop jobtracker началото
6) Начало тракер задачи възли.
$ /и т.н. / init.d / Hadoop задача тракер стартер
7) Създаване на потребителски акаунт на HDFS за себе си.
$ /ЮЕсАр / sbin / Hadoop създадете user.sh-U $ USER
C) Настройка на околната среда за Hadoop
$ VI ~ /. bash_profile
В режим INSERT път комплект за JAVA_HOME
Износ JAVA_HOME
Запазете файла като щракнете върху ESC:WQ
Run. Bash_profile
$ източник ~ /. bash_profile
Задайте JAVA_HOME път в околната среда Hadoop файл
$ /и т.н. / Hadoop / Hadoop env.sh
D) Конфигурация за Hadoop
Използвайте следния:
CONF / основна site.xml:
| <конфигурация> |
| <имот> |
| <име>fs.default.name</име> |
| <стойност>hdfs://Localhost:9000</стойност> |
| </имот> |
| </конфигурация> |
CONF / hdfs site.xml:
| <конфигурация> |
| <имот> |
| <име>dfs.replication</име> |
| <стойност>1</стойност> |
| </имот> |
| </конфигурация> |
CONF / mapred-site.xml:
| <конфигурация> |
| <имот> |
| <име>mapred.job.tracker</име> |
| <стойност>Localhost:9001</стойност> |
| </имот> |
| </конфигурация> |
То) Hadoop команди
$ Hadoop
$ Hadoop namenode-формат (Форматирайте namenode, Ако поиска да
отговори натиснете "Y")
$ Hadoop NameNode (Започнете namenode)
$ намирам / -назовем началото dfs.sh (намерите файла в директорията)
$ CD ЮЕсАр / sbin (Отиди директно до съответната директория)
$ стартиране dfs.sh
$ стартиране mapred.sh
$ Hadoop FS-LS / (Показва папката корен HDFS)
$ hadooop FS-сложи input/file01 / input/file01 (Копиране на локалните input/file01
HDFS корен / input/file01)
