Ni priskribos Hadoop aranĝo sur ununura nodo kaj multi nodo. La Hadoop media aranĝo kaj konfiguracio estos priskribita en detaloj. Unue vi devas elŝuti la sekvantan softvaron (Rpm).
- Java JDKa RPM
- Apache Hadoop 0.20.204.0 RPM
A) Ununura noda sistemo Hadoop aranĝo
1) Instali JDK sur Ruĝa Ĉapelo aŭ CentOS 5+ Sistemo.
$ ./Jdk-6u26-linux-x64-rpm.Ujo.Sh
Java estas instalita kaj fiksita JAVAan_HEJMON al /usr/java/nerepago
2) Instali Apache Hadoop 0.20.204.
$ Rpm -i hadoop-0.20.204.0-1.I386.Rpm
3) Aranĝo Apache Hadoop konfiguracio kaj komenci Hadoop procezoj.
$ /Usr/sbin/hadoop-aranĝo-ununura-nodo.Sh
La aranĝa sorĉisto gvidos vin tra listo de demandoj al aranĝo Hadoop. Hadoop devus esti flua post kiam alrespondanta ‘Y' al ĉiuj demandoj.
Krei uzantan konton sur HDFS por vi mem.
$ /Usr/sbin/hadoop-krei-uzanto.Sh -u $UZANTO
B) Multi-nodoj Hadoop aranĝo
1) Instali ambaŭ la JDK kaj Hadoop 0.20.204.0 RPMs sur ĉiuj nodoj
2) Produkti hadoop konfiguracio sur ĉiuj nodoj:
$ /Usr/sbin/hadoop-aranĝo-conf.Sh \
--Namenode-url=hdfs://${Namenode}:9000/ \
--Jobtracker-url=${Jobtracker}:9001 \
--Conf-dir=/ktp./hadoop \
--Hdfs-dir=/var/lib/hadoop/hdfs \
--Namenode-dir=/var/lib/hadoop/hdfs/namenode \
--Mapred-dir=/var/lib/hadoop/mapred \
--Datanode-dir=/var/lib/hadoop/hdfs/datumo \
--Ŝtipo-dir=/var/ŝtipo/hadoop \
--Aŭtomobilo
Kie ${Namenode} Kaj ${Jobtracker} Devus esti anstataŭigita kun hostname de namenode kaj jobtracker.
3) Formato namenode kaj aranĝo defaŭlta HDFSa plano.
$ /Usr/sbin/hadoop-aranĝo-hdfs.Sh
4) Komenci ĉiuj datumaj nodoj.
$ /Ktp./init.D/hadoop-datanode komenco
5) Komenca laborposteno spurista nodo.
$ /Ktp./init.D/hadoop-jobtracker komenco
6) Komenca tasko spuristaj nodoj.
$ /Ktp./init.D/hadoop-tasktracker komenco
7) Krei uzantan konton sur HDFS por vi mem.
$ /Usr/sbin/hadoop-krei-uzanto.Sh -u $UZANTO
C) Aranĝa Medio por Hadoop
$ Vi ~/.Batega_profilo
En ENIGAĴA maniero ara vojo por JAVAa_HEJMO
Eksporta JAVAa_HEJMO
Savi dosieron de klakanta Esc:Wq
Kuri la .Batega_profilo
$ Fonto ~/.Batega_profilo
Fiksita JAVAan_HEJMON vojo en Hadoop Media dosiero
$ /Ktp./hadoop/hadoop-env.Sh
D) Konfiguracio por Hadoop
Uzi la sekvantaron:
Conf/kerno-ejo.Xml:
| <Konfiguracio> |
| <Nemoveblaĵo> |
| <Nomo>Fs.Nerepago.Nomo</Nomo> |
| <Valoro>Hdfs://Localhost:9000</Valoro> |
| </Nemoveblaĵo> |
| </Konfiguracio> |
Conf/hdfs-ejo.Xml:
| <Konfiguracio> |
| <Nemoveblaĵo> |
| <Nomo>Dfs.Reproduktado</Nomo> |
| <Valoro>1</Valoro> |
| </Nemoveblaĵo> |
| </Konfiguracio> |
Conf/mapred-ejo.Xml:
| <Konfiguracio> |
| <Nemoveblaĵo> |
| <Nomo>Mapred.Laborposteno.Spuristo</Nomo> |
| <Valoro>Localhost:9001</Valoro> |
| </Nemoveblaĵo> |
| </Konfiguracio> |
E) Hadoop Komandoj
$ Hadoop
$ Hadoop namenode –formato (Formato la namenode, Se demandas al
Responda gazetaro ‘Y')
$ Hadoop namenode (Komenci la namenode)
$ Trovi / -Noma komenco-dfs.Sh (Trovi la dosieron en adresaro)
$ Cd usr/sbin (Iri al respektiva adresaro rekte)
$ Komenco-dfs.Sh
$ Komenco-mapred.Sh
$ Hadoop fs –ls / (Montras la HDFSan radikan tekon)
$ Hadooop fs –metita enigon/file01 /enigo/file01 (Kopii lokan enigon/file01 al
HDFSa radiko /enigo/file01)
