Byddwn yn disgrifio Hadoop setup ar nod sengl ac aml-nod. The Hadoop environment setup and configuration will be described in details. Yn gyntaf bydd angen i lawrlwytho'r meddalwedd canlynol (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
Mae) Nod Sengl system Hadoop setup
1) Gosod JDK ar Red Hat a neu CentOS 5+ system.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java wedi ei osod ac yn gosod JAVA_HOME i / usr / java / default
2) Gosod Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop ffurfweddiad a dechrau prosesau Hadoop.
$ /usr / sbin / hadoop-setup-un-node.sh
Bydd y dewin setup eich tywys trwy restr o gwestiynau i setup Hadoop. Dylid Hadoop yn rhedeg ar ôl ateb 'Y' i bob cwestiwn.
Creu cyfrif defnyddiwr ar HDFS i chi eich hun.
$ /usr / sbin / hadoop-creu-user.sh-u $ DEFNYDDIWR
B) Aml-nodau Hadoop setup
1) Gosod y JDK a Hadoop 0.20.204.0 RPMs ar yr holl nodau
2) Creu hadoop cyfluniad ar yr holl nodau:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Lle ${namenode} a ${jobtracker} dylid newid enw gwesteiwr namenode a jobtracker.
3) Fformat namenode a setup diofyn HDFS cynllun.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Dechrau holl nodau ddata.
$ /etc / init.d / hadoop-datanode dechrau
5) Dechrau swydd tracker nod.
$ /etc / init.d / hadoop-jobtracker dechrau
6) Dechrau nodau olrhain dasg.
$ /etc / init.d / Hadoop-dasg tracker cychwynnol
7) Creu cyfrif defnyddiwr ar HDFS i chi eich hun.
$ /usr / sbin / hadoop-creu-user.sh-u $ DEFNYDDIWR
C) Amgylchedd Setup gyfer Hadoop
$ vi ~ /. bash_profile
Yn lwybr RHOWCH modd a osodwyd ar gyfer JAVA_HOME
Allforio JAVA_HOME
Cadw'r ffeil drwy glicio ESC:WQ
Rhedeg y bash_profile.
$ ffynhonnell ~ /. bash_profile
Gosod JAVA_HOME llwybr yn ffeil yr Amgylchedd Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Configuration gyfer Hadoop
Defnyddiwch y canlynol:
conf / craidd-site.xml:
| <ffurfweddiad> |
| <eiddo> |
| <enw>fs.default.name</enw> |
| <gwerth>hdfs://localhost:9000</gwerth> |
| </eiddo> |
| </ffurfweddiad> |
conf / hdfs-site.xml:
| <ffurfweddiad> |
| <eiddo> |
| <enw>dfs.replication</enw> |
| <gwerth>1</gwerth> |
| </eiddo> |
| </ffurfweddiad> |
conf / mapred-site.xml:
| <ffurfweddiad> |
| <eiddo> |
| <enw>mapred.job.tracker</enw> |
| <gwerth>localhost:9001</gwerth> |
| </eiddo> |
| </ffurfweddiad> |
Mae'n) Gorchmynion Hadoop
$ hadoop
$ hadoop namenode-fformat (Fformat y namenode, Os gofynnwch i
ateb i'r wasg 'Y')
$ hadoop NameNode (Cychwyn y namenode)
$ dod o hyd i / -enwi dechrau-dfs.sh (ddod o hyd i'r ffeil yn y cyfeiriadur)
$ cd usr / sbin (Ewch i'r cyfeiriadur perthnasol yn uniongyrchol)
$ cychwyn dfs.sh
$ cychwyn mapred.sh
$ hadoop fs-ls / (Dangos y ffolder wraidd HDFS)
$ hadooop fs-roi input/file01 / input/file01 (Copi input/file01 lleol i
HDFS gwraidd / input/file01)
