Namin ilarawan ang Hadoop setup sa solong node at multi node. The Hadoop environment setup and configuration will be described in details. Una kailangan mong i-download ang mga sumusunod na software (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
Isang) Single node sistema Hadoop setup
1) I-install ang JDK sa Red Hat o CentOS 5+ sistema.
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java ay naka-install at i-set JAVA_HOME sa / usr / java / default
2) I-install ang Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop configuration at simulan ang Hadoop proseso.
$ /usr / sbin / hadoop-setup-single-node.sh
Ang setup wizard ay gagabayan ka sa pamamagitan ng isang listahan ng mga katanungan sa setup Hadoop. Hadoop ay dapat na tumakbo pagkatapos ng pagsagot ng 'Y' sa lahat ng mga katanungan.
Lumikha ng isang account ng gumagamit sa HDFS para sa iyong sarili.
$ /usr / sbin / hadoop-paglikha-user.sh-u $ USER
B) Multi-node Hadoop setup
1) I-install ang parehong JDK at Hadoop 0.20.204.0 RPMs sa lahat ng node
2) Bumuo ng configuration ng hadoop sa lahat ng node:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Saan ${namenode} at ${jobtracker} dapat pinalitan ng hostname ng namenode at jobtracker.
3) Format namenode at setup default HDFS layout.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Simulan ang lahat ng data na node.
$ /etc / init.d / hadoop-datanode simula
5) Simulan ang trabaho tracker node.
$ /etc / init.d / hadoop-jobtracker simula
6) Simulan ang mga node ng gawain tracker.
$ /etc / init.d / Hadoop-gawain tracker starter
7) Lumikha ng isang account ng gumagamit sa HDFS para sa iyong sarili.
$ /usr / sbin / hadoop-paglikha-user.sh-u $ USER
C) Setup Kapaligiran para sa Hadoop
$ vi ~ /. bash_profile
Sa INSERT set ng mode ng landas para sa JAVA_HOME
I-export ang JAVA_HOME
I-save ang file sa pamamagitan ng pag-click sa esc:wq
Patakbuhin ang. Bash_profile
$ pinagmulan ~ /. bash_profile
Itakda JAVA_HOME path sa Hadoop Kapaligiran file
$ /etc / Hadoop / Hadoop-env.sh
Da) Configuration para sa Hadoop
Gamitin ang sumusunod na:
Conf / core-site.xml:
| <configuration> |
| <ari-arian> |
| <pangalan>fs.default.name</pangalan> |
| <halaga>hdfs://localhost:9000</halaga> |
| </ari-arian> |
| </configuration> |
Conf / hdfs-site.xml:
| <configuration> |
| <ari-arian> |
| <pangalan>dfs.replication</pangalan> |
| <halaga>1</halaga> |
| </ari-arian> |
| </configuration> |
Conf / mapred-site.xml:
| <configuration> |
| <ari-arian> |
| <pangalan>mapred.job.tracker</pangalan> |
| <halaga>localhost:9001</halaga> |
| </ari-arian> |
| </configuration> |
Ito) Hadoop Command
$ hadoop
$ hadoop namenode-format (Format ang ang namenode, Kung hilingin na
answer pindutin ang 'Y')
$ hadoop NameNode (Simulan ang namenode)
$ mahanap / -pangalanan ang simula-dfs.sh (hanapin ang file sa direktoryo)
$ cd usr / sbin (Pumunta sa kani-kanilang mga direktoryo direkta)
$ start-dfs.sh
$ start-mapred.sh
$ hadoop fs-ls / (Ipinapakita ang HDFS ugat folder)
$ hadooop fs-ilagay ang input/file01 / input/file01 (Kopyahin ang lokal input/file01 sa
Sa HDFS ugat / input/file01)
