Hadoop af
Oorsig: Apache Hadoop geïnstalleer kan word in verskillende maniere, soos per die vereiste. Hierdie verskillende maniere is ingestel tydens die installasie. By verstek, Hadoop geïnstalleer in Standalone wyse. Die ander maniere is Pseudo versprei af en versprei wyse. Die doel van hierdie handleiding is om verskillende installasie modes in 'n eenvoudige manier verduidelik word sodat die lesers dit kan volg en hul eie werk te doen.
In this article, Ek sal verskillende installasie modes en hul besonderhede te bespreek.
Inleiding: Ons weet almal dat Apache Hadoop is 'n oop-bron raamwerk wat verspreide verwerking van groot stelle data stel oor verskillende groepe kan met behulp van eenvoudige programme. Hadoop het die vermoë om tred te skaal om duisende rekenaars van 'n enkele bediener. So in hierdie toestande installasie van Hadoop word mees kritieke. Ons kan Hadoop in drie verskillende maniere te installeer –
- Standalone af – Enkele nodus Cluster
- Pseudo versprei af – Enkele nodus Cluster
- versprei af. – Multi Node Cluster
Doel van verskillende installasie modes: Wanneer Apache Hadoop word gebruik in 'n produksie-omgewing, verskeie bediener knope word vir versprei rekenaar. Maar vir die begrip van die basiese beginsels en rondspeel met Hadoop, enkele nodus installasie is voldoende. Daar is 'n ander modus bekend as 'Pseudo versprei’ wyse. Hierdie modus is wat gebruik word om die multi-knoop omgewing na te boots op 'n enkele bediener.
In hierdie dokument sal ons bespreek hoe om Hadoop installeer op Ubunto Linux. Of dit nou 'n mode, die stelsel moet Java weergawe 1.6.x daarop geïnstalleer.
Standalone af installasie: Now, Laat ons gaan die selfstandige af installasie proses na aanleiding van die onderstaande stappe.
installeer Java –
Java (JDK weergawe 1.6.x) óf vanaf Son / Oracle of Open Java vereis.
- Step 1 – As jy nie in staat is om oor te skakel na OpenJDK in plaas van die gebruik van eiendom Sun JDK / JRE, installeer son-java6 van Kanonieke Partner Repository deur gebruik te maak van die volgende opdrag.
Let daarop: The Kanoniese Partner Repository bevat gratis van koste geslote bron derde party sagteware. Maar die Kanonieke nie toegang tot die bronkode het in plaas hulle net te verpak en te toets.
Voeg die kanonieke vennoot om die gepaste bronne gebruik te maak –
[Code]
$ sudo add-apt-bewaarplek “Deb http://archive.canonical.com/lucid vennoot”
[/Code]
- Step 2 – Werk die bronnelys.
[Code]
$ sudo apt-get update
[/Code]
- Step 3 – Installeer JDK weergawe 1.6.x van Son / Oracle.
[Code]
$ sudo apt-get installeer son-java6-JDK
[/Code]
- Step 4 – Sodra JDK installasie oor is seker te maak dat dit korrek opstel met behulp van – weergawe 1.6.x van Son / Oracle.
[Code]
gebruiker @ Ubuntu:~# java -version java version “1.6.0_45” Java(TM) SE Runtime Environment (bou 1.6.0_45-B02) Java HotSpot(TM) Client VM (bou 16.4-B01, mixed mode, sharing)
[/Code]
Voeg Hadoop gebruiker
- Step 5 – Voeg 'n toegewyde Hadoop unix gebruiker in jou stelsel as onder om hierdie installasie van ander sagteware te isoleer –
[Code]
$ sudo adduser hadoop_admin
[/Code]
Laai die Hadoop binêre en installeer
- Step 6 – Aflaai Apache Hadoop van die Apache webwerf. Hadoop kom in die vorm van teer-gx formaat. Kopieer hierdie binêre in die / usr / local / installables gids. die gids – installables moet eers geskep onder / usr / local voor hierdie stap. Nou loop die volgende opdragte soos sudo
[Code]
$ cd /usr/local/installables $ sudo teer xzf hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / hadoop-0.20.2
[/Code]
Definieer ENV veranderlike – JAVA_HOME
- Step 7 – Maak die Hadoop konfigurasielêer (hadoop-env.sh) in die plek – /usr / local / installables / hadoop-0.20.2/conf / hadoop-env.sh en definieer die JAVA_HOME as onder -
[Code] uitvoer JAVA_HOME = pad / waar / JDK / is / geïnstalleer [/Code]
(Bv. /usr / bin / java)
Installasie in Enkellopend af
- Step 8 – Gaan nou na die HADOOP_HOME gids (plek waar HADOOP onttrek) en loop die volgende opdrag -
[Code]
$ bin / hadoop
[/Code]
Die volgende uitset sal vertoon word -
[Code] gebruik: hadoop [–config confdir] BEVEL
[/Code]
Sommige van die Opdragopsies word hieronder genoem. Daar is ander opsies wat beskikbaar is en kan nagegaan word met behulp van die bogenoemde opdrag.
[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility
[/Code]
Bogenoemde uitset dui daarop dat Standalone installasie suksesvol voltooi. Nou kan jy die monster voorbeelde van jou keuse deur te bel loop -
[Code] $ bin/hadoop jar hadoop-*-examples.jar <NAAM> <params>[/Code]
Pseudo versprei af installasie: Dit is 'n gesimuleerde multi-knoop omgewing gebaseer op 'n enkele nodus bediener.
Hier is die eerste stap wat nodig is, is om die SSH instel ten einde toegang en beheer van die verskillende knope. Dit is dus noodsaaklik om die SSH toegang tot die verskillende knope het. Sodra die SSH is ingestel, enabled en toeganklik moet ons begin instel van die Hadoop. Die volgende konfigurasielêers moet verander word -
- conf / kern-site.xml
- conf / hdfs-site.xml
- conf / mapred.xml
Maak die hele opset lêers in ons redakteur en die opset werk.
Instel kern-site.xml lêer:
[Code]$ vi conf / kern-site.xml[/Code] [Code]<opset><eiendom><naam>fs.default.name</naam><waarde>hdfs://localhost:9000</waarde></eiendom><eiendom><naam>hadoop.tmp.dir</naam><waarde>/tmp / hadoop- ${user.name}</waarde></eiendom></opset>[/Code]
Instel hdfs-site.xml lêer:
[Code]$ vi conf / hdfs-site.xml[/Code] [Code]<opset><eiendom><naam>dfs.replication</naam><waarde>1</waarde></eiendom></opset>[/Code]
Instel mapred.xml lêer:
[Code]$ vi conf / mapred.xml[/Code] [Code]<opset><eiendom><naam>mapred.job.tracker</naam> <waarde>localhost:9001</waarde></eiendom></opset>[/Code] Once these changes are done, ons nodig het om die naam node formaat met behulp van die volgende opdrag. Die opdrag prompt sal al die boodskappe te wys een na die ander en uiteindelik sukses boodskap. [Code]$ bin / Hadoop namenode -format[/Code] Now our setup is done for pseudo distributed node. Kom ons nou die enkele nodus cluster begin deur die volgende opdrag. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 TaskTracker[/Code]
Stop die enkele nodus Cluster: Ons kan die enkele nodus cluster stop deur gebruik te maak van die volgende opdrag. Die opdrag prompt sal al die stilhou prosesse vertoon.
[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: stop tasktrackerstopping namenodelocalhost: stop datanodelocalhost: stop secondarynamenode[/Code]
Versprei af installasie:
Voordat ons begin die verspreide modus installasie, Ons moet verseker dat ons die pseudo versprei opstel gedoen en ons het ten minste twee masjiene, een wat as meester en die ander een wat optree as 'n slaaf. Nou loop ons die volgende opdragte in volgorde.
· $ bin / stop-all.sh – Maak seker een van die nodusse hardloop
- Maak die / etc / hosts lêer en voeg die volgende inskrywings vir meester en slaaf –
<IP ADRES> master
<IP ADRES> slaaf
- $ ssh-kopie-ID-i $ Huis / .ssh / id_rsa.pub slaaf – Hierdie opdrag moet uitgevoer word op meester om die Wagwoordlose ssh het. Ons moet aanmeld met dieselfde gebruikersnaam op al die masjiene. As ons 'n wagwoord, Ons kan dit met die hand stel.
- Nou is die twee lêers oop te maak ons – conf / meester en conf / slawe. Die conf / meester definieer die naam nodes van ons multi-knoop cluster. Die conf / slawe lêer lys die leërskare waar die Hadoop Slave sal loop.
- Wysig die conf / kern-site.xml lêer om die volgende inskrywings het –
<eiendom>
<naam>fs.default.name</naam>
<waarde>hdfs://master:54310</waarde>
</eiendom>
- Wysig die conf / mapred-site.xml lêer om die volgende inskrywings het –
<eiendom>
<naam>mapred.job.tracker</naam>
<waarde>hdfs://master:54311</waarde>
</eiendom>
- Wysig die conf / hdfs-site.xml lêer om die volgende inskrywings het –
<eiendom>
<naam>dfs.replication</naam>
<waarde>2</waarde>
</eiendom>
- Wysig die conf / mapred-site.xml lêer om die volgende inskrywings het –
<eiendom>
<naam>mapred.local.dir</naam>
<waarde>${hadoop-TMP}/mapred / plaaslike</waarde>
</eiendom>
<eiendom>
<naam>mapred.map.tasks</naam>
<waarde>50</waarde>
</eiendom>
<eiendom>
<naam>mapred.reduce.tasks</naam>
<waarde>5</waarde>
</eiendom>
Nou begin die meester met behulp van die volgende opdrag.
[Code] bin / start-dfs.sh [/Code]
Wanneer begin, die status van die meester met behulp van JPS opdrag. Jy moet die volgende uitset te kry -
[Code]
14799 NameNode
15314 JPS
16977 secondaryNameNode
[/Code]
Op die slaaf die uitset soos hieronder vertoon moet word.
[Code]
15183 DataNode
15616 JPS
[/Code]
Nou begin die MapReduce daemons deur gebruik te maak van die volgende opdrag.
[Code]
$ bin / start-mapred.sh
[/Code]
Wanneer begin die status op die meester met behulp van JPS opdrag. Jy moet die volgende uitset te kry -
[Code]
16017 JPS
14799 NameNode
15596 JobTracker
14977 SecondaryNameNode
[/Code]
En op die slawe die uitset moet soos hieronder getoon.
[Code]
15183 DataNode
15897 TaskTracker
16284 JPS
[/Code]
Summary: In die bespreking hierbo het ons verskillende Hadoop installasie modes en hul tegniese besonderhede gedek. Maar ons moet versigtig wees wanneer die keuse van die installasie af. Verskillende maniere hul eie doel. So het die beginners moet begin met 'n enkele modus installasie en dan voort te gaan met ander opsies.
Kom ons som ons gesprek met die volgende 'bullets'
- Apache Hadoop geïnstalleer kan word in drie verskillende maniere –
- enkele nodus
- Pseudo versprei node
- versprei node
- Enkelmodus is die eenvoudigste manier om te installeer en te begin.
- As ons moet trosse maar het net een knoop beskikbaar, dan moet ons gaan vir Pseudo versprei af
- Om die verspreide modus ons sou net die pseudo versprei modus eerste geïnstalleer installeer.
