Beidh muid ag cur síos Hadoop thus ar nód amháin agus nód il. The Hadoop environment setup and configuration will be described in details. An Chéad is gá duit a íoslódáil na bogearraí seo a leanas (RPM).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) Aonair nód córas Hadoop thus
1) Suiteáil JDK ar Red Hat nó CentOS 5+ córas.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java suiteáilte agus a leagtar JAVA_HOME chuig / usr / java / default
2) Suiteáil Apache Hadoop 0.20.204.
$ RPM-i hadoop-0.20.204.0-1.i386.rpm
3) Socrú Apache Hadoop chumraíocht agus tús próisis Hadoop.
$ /usr / sbin / hadoop-thus-aonair-node.sh
Beidh an draoi thus tú a threorú trí liosta de cheisteanna a thus Hadoop. Ba chóir Hadoop a bheith ag rith i ndiaidh freagairt 'Y' ar gach ceist.
Cruthaigh cuntas úsáideora ar HDFS duit féin.
$ /usr / sbin / hadoop-chruthú-user.sh-u $ USER
B) Il-nóid Hadoop thus
1) Suiteáil araon JDK agus Hadoop 0.20.204.0 RPMs ar gach nód
2) Gin hadoop cumraíocht ar gach nód:
$ /usr / sbin / hadoop-thus-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
I gcás ina ${namenode} agus ${jobtracker} Ba chóir a chur in ionad leis an óstainm de namenode agus jobtracker.
3) Formáid namenode agus thus réamhshocraithe HDFS leagan amach.
$ /usr / sbin / hadoop-thus-hdfs.sh
4) Tosaigh gach nóid sonraí.
$ /etc / init.d / hadoop-datanode tús
5) Tosaigh phost lorgaire nód.
$ /etc / init.d / hadoop-jobtracker tús
6) Tosaigh nóid lorgaire tasc.
$ /etc / init.d / Hadoop-tasc lorgaire tosaithe
7) Cruthaigh cuntas úsáideora ar HDFS duit féin.
$ /usr / sbin / hadoop-chruthú-user.sh-u $ USER
C) Comhshaoil Socraigh do Hadoop
$ vi ~ /. bash_profile
I cosán a leagtar ISTEACH mód le haghaidh JAVA_HOME
Easpórtáil JAVA_HOME
Sábháil comhad trí chliceáil ESC:wq
Rith an bash_profile.
$ foinse ~ /. bash_profile
Socraigh JAVA_HOME cosán i gcomhad Comhshaoil Hadoop
$ /etc / Hadoop / Hadoop-env.sh
D) Cumraíocht do Hadoop
Bain úsáid as an méid seo a leanas:
conf / croí-site.xml:
| <cumraíocht> |
| <maoin> |
| <ainm>fs.default.name</ainm> |
| <luach>hdfs://localhost:9000</luach> |
| </maoin> |
| </cumraíocht> |
conf / hdfs-site.xml:
| <cumraíocht> |
| <maoin> |
| <ainm>dfs.replication</ainm> |
| <luach>1</luach> |
| </maoin> |
| </cumraíocht> |
conf / mapred-site.xml:
| <cumraíocht> |
| <maoin> |
| <ainm>mapred.job.tracker</ainm> |
| <luach>localhost:9001</luach> |
| </maoin> |
| </cumraíocht> |
Tá sé) Orduithe Hadoop
$ hadoop
$ hadoop namenode-format (Formáid an namenode, Más rud é a iarraidh
freagra brúigh 'Y')
$ hadoop NameNode (Tosaigh an namenode)
$ teacht ar / -ainm nua-dfs.sh (teacht ar an gcomhad i eolaire)
$ cd usr / sbin (Téigh go dtí an eolaire faoi seach go díreach)
$ nua-dfs.sh
$ nua-mapred.sh
$ hadoop FS-ls / (Taispeáin an fillteán fhréamh HDFS)
$ hadooop FS-chur input/file01 / input/file01 (Cóipeáil input/file01 áitiúil
HDFS root / input/file01)
