Ние ќе се опише Hadoop подесување на еден јазол и мулти јазол. The Hadoop environment setup and configuration will be described in details. Прво треба да ги преземете следниве софтвер (вртежи во минута).
- Јава JDK RPM
- Apache Hadoop 0.20.204.0 RPM
А) Еден јазол систем Hadoop подесување
1) Инсталирате JDK на Ред Хет или CentOS 5+ систем.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Јава е инсталиран и го постави JAVA_HOME во / usr / Java / стандардно
2) Инсталирате Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) Поставување на Apache Hadoop конфигурација и почетокот Hadoop процеси.
$ /usr / sbin / Hadoop-подесување-еден node.sh
На волшебникот ќе ве води низ листа на прашања за подесување Hadoop. Hadoop треба да се работи по одговарање 'Да' за сите прашања.
Создаде корисничка сметка на HDFS за себе.
$ /usr / sbin / Hadoop-креира-user.sh-u $ корисник
Б) Мулти-јазли Hadoop подесување
1) Инсталирате и на JDK и Hadoop 0.20.204.0 Број вртежи на сите јазли
2) Генерирање Hadoop конфигурација на сите јазли:
$ /usr / sbin / Hadoop-подесување-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Каде што ${namenode} и ${jobtracker} треба да се замени со името на namenode и jobtracker.
3) Формат namenode и подесување стандардно HDFS распоред.
$ /usr / sbin / Hadoop-подесување-hdfs.sh
4) Започнете сите податоци јазли.
$ /etc / init.d / Hadoop-datanode почетокот
5) Започнете работа тракер јазол.
$ /etc / init.d / Hadoop-jobtracker почетокот
6) Почеток задача тракер јазли.
$ /etc / init.d / Hadoop-задача тракер стартер
7) Создаде корисничка сметка на HDFS за себе.
$ /usr / sbin / Hadoop-креира-user.sh-u $ корисник
C) Поставување средина за Hadoop
$ VI ~ /. bash_profile
Во INSERT режим сет патот за JAVA_HOME
Извоз JAVA_HOME
Зачувам датотеката со кликнување на ESC:wq
Стартувај. Bash_profile
$ извор ~ /. bash_profile
Постави JAVA_HOME пат во Hadoop животна средина датотека
$ /etc / Hadoop / Hadoop-env.sh
D) Конфигурација за Hadoop
Користете ги следниве:
conf / јадрото site.xml:
| <конфигурација> |
| <сопственост> |
| <име>fs.default.name</име> |
| <вредност>HDFS://localhost:9000</вредност> |
| </сопственост> |
| </конфигурација> |
conf / HDFS-site.xml:
| <конфигурација> |
| <сопственост> |
| <име>dfs.replication</име> |
| <вредност>1</вредност> |
| </сопственост> |
| </конфигурација> |
conf / mapred-site.xml:
| <конфигурација> |
| <сопственост> |
| <име>mapred.job.tracker</име> |
| <вредност>localhost:9001</вредност> |
| </сопственост> |
| </конфигурација> |
Тоа) Hadoop Команди
$ Hadoop
$ Hadoop namenode-формат (Формат на namenode, Ако побарате да
одговори на прес-"У")
$ Hadoop NameNode (Започнете со namenode)
$ најдете / -името на проектот-dfs.sh (најдете ја датотеката во директориумот)
$ cd usr / sbin (Оди до соодветните директориум директно)
$ start-dfs.sh
$ старт-mapred.sh
$ Hadoop FS-ls / (Покажува коренот HDFS папка)
$ hadooop FS-стави input/file01 / input/file01 (Копирај локални input/file01 да
HDFS root / input/file01)
