TechAlpine – All About Technology

Superrigardo: Apache Hadoop povas esti instalita en malsamaj manieroj kiel por la postulo. Ĉi tiuj malsamaj manieroj estas formita dum instalaĵo. De nerepago, Hadoop is installed in Standalone Maniero. The other modes are Pseudo distributed mode and distributed Maniero. The purpose of this tutorial is to explain different installation modes in a simple way so that the readers can follow it and do their own work.

En ĉi tiu artikolo, I will discuss different installation modes and their details.

Enkonduko: We all know that Apache Hadoop is an open source framework which allows distributed processing of large sets of data set across different clusters using simple programming. Hadoop has the ability to scale up to thousands of computers from a single server. Thus in these conditions installation of Hadoop becomes most critical. We can install Hadoop in three different modes –

• Standalone mode – Single Node Cluster
• Pseudo distributed mode – Single Node Cluster
• Distributed mode. – Multi Node Cluster

Purpose of different installation modes: Kiam Apache Hadoop estas uzita en produktada medio, Multoblaj servilaj nodoj estas uzita por distribuita komputikon. Sed por komprenanta la basics kaj ludanta proksimume kun Hadoop, Ununura noda instalaĵo estas sufiĉa. Estas alia maniero sciita kiel ‘Pseudo distribuita’ Maniero. Ĉi tiu maniero estas uzita ŝajnigi la multi noda medio sur ununura servilo.

En ĉi tiu dokumento ni diskutos kiel instali Hadoop sur Ubunto Linukso. Esti ĝi ajna maniero, La sistemo devus havi java versio 1.6.X instalita sur ĝi.

Aŭtonoma maniera instalaĵo: Nun, Lasi nin kontroli la aŭtonoman manieran instalaĵan procezon de sekvanta la paŝojn menciis malsupre.

Instali Java –
Java (JDKa Versio 1.6.X) Aŭ de Suno/Oracle aŭ Malferma Java estas postulita.

• Paŝo 1 – Se vi ne estas kapabla ŝalti al OpenJDK anstataŭ uzanta proprietan Sunan JDK/JRE, Instali sunon-java6 de Laŭkanona Partnera Deponejo de uzanta la sekvantan komandon.

Noto: La Laŭkanona Partnera Deponejo Enhavas liberan de kosto fermita fonton tria partia softvaro. Sed la Laŭkanona ne havas aliron al la fonta kodo male ili nur pako kaj elprovi ĝin.

Aldoni la laŭkanonan partneron al la taŭgaj deponejoj uzanta –

[Kodo]

$ Sudo aldonas-taŭga-deponejo “Deb http://Arkivo.Laŭkanona.Com/klara partnero”

[/Kodo]

• Paŝo 2 – Ĝisdatigi la fontan liston.

[Kodo]

$ Sudo taŭga-akiri ĝisdatigon

[/Kodo]

• Paŝo 3 – Instali JDKan version 1.6.X de Suno/Oracle.

[Kodo]

$ Sudo taŭga-akiri instali sunon-java6-jdk

[/Kodo]

• Paŝo 4 – Unufoje JDKa instalaĵo finas faro certe ke ĝi estas ĝuste aranĝo uzanta – Versio 1.6.X de Suno/Oracle.

[Kodo]

@User@ubuntu:~# java -versio java versio “1.6.0_45” Java(TM) SE Runtime Medio (Konstrui 1.6.0_45-b02) Java HotSpot(TM) Klienta VM (Konstrui 16.4-b01, Memkontraŭa maniero, Dividanta)

[/Kodo]

Aldoni Hadoop Uzanto

• Paŝo 5 – Aldoni diligentan Hadoop unix uzanto en vi sistemo kiel nesufiĉe izoli ĉi tiun instalaĵon de alia softvaro –

[Kodo]

$ Sudo adduser hadoop_admin

[/Kodo]

Elŝuti la Hadoop binara kaj instali

• Paŝo 6 – Elŝuti Apache Hadoop de la apache retejo. Hadoop eniras la formon de asfalto-gx formato. Kopii ĉi tiun binaran en la /usr/loka/installables teko. La teko – Installables devus esti kreita unue sub /usr/tieulo antaŭ ĉi tiu paŝo. Nun kuri la sekvantajn komandojn kiel sudo

[Kodo]

$ Cd /usr/loka/installables $ Sudo asfalto xzf hadoop-0.20.2.Asfalto.Gz $ Sudo chown -R hadoop_admin /usr/loka/hadoop-0.20.2

[/Kodo]

Difini env varia – JAVAa_HEJMO

• Paŝo 7 – Malfermi la Hadoop konfiguracia dosiero (Hadoop-env.Sh) En la loko – /Usr/tieulo/installables/hadoop-0.20.2/Conf/hadoop-env.Sh kaj difini la JAVAan_HEJMON kiel nesufiĉe –

[Kodo] Eksporta JAVAa_HEJMO=vojo/kie/jdk/estas/instalita [/Kodo]

(Ekz. /Usr/ujo/java)

Instalaĵo en Ununura maniero

• Paŝo 8 – Nun iri al la HADOOP_HEJMA adresaro (Loko kie HADOOP estas eltirita) Kaj kuri la sekvantan komandon –

[Kodo]

$ Ujo/hadoop

[/Kodo]

La sekvanta produktado estos montrita –

[Kodo] Uzado: Hadoop [–Config confdir] KOMANDO

[/Kodo]

Kelkaj de la KOMANDAJ elektoj estas menciita sub. Estas aliaj elektoj havebla kaj povas esti kontrolita uzanta la komandon menciis sur.

[Kodo] Namenode -formata formato la DFS filesystem secondarynamenode kurita la DFS duaranga namenode namenode kurita la DFS namenode datanode kurita DFS datanode dfsadmin kurita DFS admin kliento mradmin kuri Mapon-Redukti admin kliento fsck kuri DFS filesystem kontrolanta ilon

[/Kodo]

La supra produktado indikas ke Aŭtonoma instalaĵo estas kompletigita sukcese. Nun vi povas kuri la ekzemplajn ekzemplojn de via elekto de kriado –

[Kodo] $ Ujo/hadoop bokalo hadoop--ekzemploj.Bokalo <NOMO> <PARAMS>[/Kodo]

Pseudo distribuita manieran instalaĵon: Tio ĉi estas ŝajniga multi noda medio bazita sur ununura noda servilo.
Ĉi tie la unua paŝo postulita estas formi la SSH por aliri kaj administri la malsamajn nodojn. Kaj tiel ĝi estas deviga havi la SSHan aliron al la malsamaj nodoj. Unufoje la SSH estas formita, Ebligita kaj estas alirebla ni devus komenci formanta la Hadoop. La sekvantaj konfiguraciaj dosieroj devas esti modifita –

• Conf/kerno-ejo.Xml
• Conf/hdfs-ejo.Xml
• Conf/mapred.Xml

Malfermi la ĉiuj la konfiguraciaj dosieroj en Vi Redaktoro kaj ĝisdatigi la konfiguracion.

Formi kernan-ejo.Xml dosiero:

[Kodo]$ Vi conf/kerno-ejo.Xml[/Kodo] [Kodo]<Konfiguracio><Nemoveblaĵo><Nomo>Fs.Nerepago.Nomo</Nomo><Valoro>Hdfs://Localhost:9000</Valoro></Nemoveblaĵo><Nemoveblaĵo><Nomo>Hadoop.Tmp.Dir</Nomo><Valoro>/Tmp/hadoop-${Uzanto.Nomo}</Valoro></Nemoveblaĵo></Konfiguracio>[/Kodo]

Formi hdfs-ejo.Xml dosiero:

[Kodo]$ Vi conf/hdfs-ejo.Xml[/Kodo] [Kodo]<Konfiguracio><Nemoveblaĵo><Nomo>Dfs.Reproduktado</Nomo><Valoro>1</Valoro></Nemoveblaĵo></Konfiguracio>[/Kodo]

Formi mapred.Xml dosiero:

[Kodo]$ Vi conf/mapred.Xml[/Kodo] [Kodo]<Konfiguracio><Nemoveblaĵo><Nomo>Mapred.Laborposteno.Spuristo</Nomo> <Valoro>Localhost:9001</Valoro></Nemoveblaĵo></Konfiguracio>[/Kodo] Unufoje ĉi tiuj ŝanĝoj estas farita, Ni devas al formato la noma nodo de uzanta la sekvantan komandon. La komanda akurata montros ĉiuj la mesaĝoj unu post kiam alia kaj fine sukcesa mesaĝo. [Kodo]$ Ujo/hadoop namenode –formato[/Kodo] Nun nia aranĝo estas farita por pseudo distribuita nodon. Lasita-a nun komenci la ununuran nodan grapolon de uzanta la sekvantan komandon. Ĝi denove montros iun aron de mesaĝoj sur la komanda akurata kaj komenci la servilan procezon. [Kodo]$ /Uja/komenco-ĉiuj.Sh[Kodo] Nun ni devus kontroli la statuson de Hadoop procezo de efektiviganta la jps komando kiel montrita sub. Ĝi montros ĉiuj la fluaj procezoj. [Kodo]$ Jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 TaskTracker[/Kodo]

Haltanta la Ununuran nodan Grapolon: Ni povas halti la ununuran nodan grapolon de uzanta la sekvantan komandon. La komanda akurata montros ĉiuj la haltaj procezoj.

[Kodo]$ Uja/haltigo-ĉiuj.Sh haltanta jobtrackerlocalhost: Haltanta tasktrackerstopping namenodelocalhost: Haltanta datanodelocalhost: Haltanta secondarynamenode[/Kodo]

Distribuita manieran instalaĵon:
Antaŭ ol ni komencas la distribuita manieran instalaĵon, Ni devas certigi ke ni havas la pseudo distribuita aranĝon farita kaj ni havas almenaŭ du maŝinojn, Unu farado kiel mastro kaj la alia unu farado kiel sklavo. Nun ni kuras la sekvantajn komandojn en sinsekvo.

· $ Uja/haltigo-ĉiuj.Sh – Fari certe neniun de la nodoj estas kurantaj

• Malfermi la /ktp./gastigas dosieron kaj aldoni la sekvantajn enirojn por mastro kaj sklavo –

<IPa ADRESO> Mastro

<IPa ADRESO> Sklavo

• $ Ssh-kopio-identigaĵo -i $HEJMO/.Ssh/identigaĵo_rsa.Drinkeja sklavo – Ĉi tiu komando devus esti efektivigita sur mastro havi la passwordless ssh. Ni devus ensalutan uzanta la saman salutnomon sur ĉiuj la maŝinoj. If we need a password, we can set it manually.
• Now we open the two files – conf/master and conf/slaves. The conf/master defines the name nodes of our multi node cluster. The conf/slaves file lists the hosts where the Hadoop Slave will be running.
• Edit the conf/core-site.xml file to have the following entries –

<Nemoveblaĵo>

<Nomo>Fs.Nerepago.Nomo</Nomo>

<Valoro>Hdfs://Mastro:54310</Valoro>

</Nemoveblaĵo>

• Edit the conf/mapred-site.xml file to have the following entries –

<Nemoveblaĵo>

<Nomo>Mapred.Laborposteno.Spuristo</Nomo>

<Valoro>Hdfs://Mastro:54311</Valoro>

</Nemoveblaĵo>

• Edit the conf/hdfs-site.xml file to have the following entries –

<Nemoveblaĵo>

<Nomo>Dfs.Reproduktado</Nomo>

<Valoro>2</Valoro>

</Nemoveblaĵo>

• Edit the conf/mapred-site.xml file to have the following entries –

<Nemoveblaĵo>

<Nomo>mapred.local.dir</Nomo>

<Valoro>${hadoop-tmp}/mapred/local</Valoro>

</Nemoveblaĵo>

<Nemoveblaĵo>

<Nomo>mapred.map.tasks</Nomo>

<Valoro>50</Valoro>

</Nemoveblaĵo>

<Nemoveblaĵo>

<Nomo>mapred.reduce.tasks</Nomo>

<Valoro>5</Valoro>

</Nemoveblaĵo>

Now start the master by using the following command.

[Kodo] bin/start-dfs.sh [/Kodo]

Once started, check the status on the master by using jps command. You should get the following output –

[Kodo]

14799 NameNode

15314 Jps
16977 secondaryNameNode

[/Kodo]

On the slave the output should be as shown below.

[Kodo]

15183 DataNode
15616 Jps

[/Kodo]

Now start the MapReduce daemons by using the following command.

[Kodo]

$ bin/start-mapred.sh

[/Kodo]

Once started check the status on the master by using jps command. You should get the following output –

[Kodo]

16017 Jps

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Kodo]

And on the slaves the output should be as shown below.

[Kodo]

15183 DataNode

15897 TaskTracker
16284 Jps

[/Kodo]

Resuma: In the above discussion we have covered different Hadoop installation modes and their technical details. But we should be careful when selecting the installation mode. Different modes have their own purpose. So the beginners should start with single mode installation and then proceed with other options.
Let us summarize our discussion with the following bullets

• Apache Hadoop can be installed in three different modes –
  • Single node
  • Pseudo distributed node
  • Distributed node
• Single mode is the simplest way to install and get started.
• Se ni devas grapolojn sed havas nur unu nodon havebla, Tiam ni devus iri por Pseudo distribuita manieron
• Instali la distribuita manieron ni devus havi la pseudo distribuita manieron instalis unue.