TechAlpine – All About Technology

Ülevaade: Apache Hadoop saab paigaldada eri transpordiliikide kohta nõue. Need erinevad režiimid on konfigureeritud paigaldamise ajal. Algselt, Hadoop on paigaldatud Iseseisev viis. Teine režiimid pseudo laiali režiimi ja jagatud viis. Käesoleva juhendaja on selgitada erinevate paigaldusrežiime lihtsal viisil nii, et lugejad saavad järgida ja teha oma tööd.

In this article, Ma arutada erinevaid paigaldusrežiime ja nende detaile.

Sissejuhatus: Me kõik teame, et Apache Hadoop on avatud lähtekoodiga raamistik, mis võimaldab hajutatud töötlemise suurte andmekogumite seatud erinevate klastrite abil lihtne programmeerimine. Hadoop on võime mõõtkavas kuni tuhandeid arvuteid ühest serverist. Seega nendes tingimustes paigaldus Hadoop muutub kõige kriitilisem. Me ei saa paigaldada Hadoop kolmes erinevas režiimis –

• Iseseisev režiimil – Ühe sõlme Cluster
• Pseudo laiali režiimil – Ühe sõlme Cluster
• Distributed režiimil. – Multi Sõlme Cluster

Eesmärk erinevate paigaldusrežiime: Kui Apache Hadoop kasutatakse tootmise keskkond, Mitme serveri sõlme kasutatakse hajusarvutuse. Aga et mõista põhitõdesid ja mängides Hadoop, ühe sõlme paigaldamist piisab. On veel üks režiim, mida nimetatakse "Pseudo laiali’ viis. Seda režiimi kasutatakse simuleerida mitme sõlme keskkond ühes serveris.

Selles dokumendis arutleme, kuidas paigaldada Hadoop kohta Ubunto Linux. Olgu see siis mis tahes režiimis, süsteem peaks olema java versiooni 1.6.x installitud.

Iseseisev paigaldust: Now, olgem kontrollida autonoomses režiimis paigaldamise käigus juhiste järgi allpool nimetatud.

Java installimine –
Java (JDK versiooni 1.6.x) kas Sun / Oracle või Open Java on vajalik.

• Step 1 – Kui te ei saa minna OpenJDK asemel varaliste Sun JDK / JRE, paigaldada päikese java6 alates Canonical Partner hoidlast, kasutades järgmist käsku.

Note: The Canonical Partner Hoidla sisaldab tasuta suletud lähtekoodiga kolmanda osapoole tarkvara. Aga Canonical ei ole juurdepääsu lähtekoodile asemel nad lihtsalt pakkida ja testida.

Lisa kanooniline partner apt hoidlates kasutades –

[Code]

$ sudo add-apt-repository “deb http://archive.canonical.com/lucid partner”

[/Code]

• Step 2 – Uuenda allikas nimekirja.

[Code]

$ sudo apt-get update

[/Code]

• Step 3 – Paigaldage JDK versiooni 1.6.x Sun / Oracle.

[Code]

$ sudo apt-get install sun-java6-jdk

[/Code]

• Step 4 – Kui JDK paigaldamine on üle veendumaks, et see on õige seadistuse abil – versiooni 1.6.x Sun / Oracle.

[Code]

kasutaja @ ubuntu:~# java -version java version “1.6.0_45” Java(TM) SE Runtime Environment (ehitada 1.6.0_45-B02) Java HotSpot(TM) Client VM (ehitada 16,4-B01, mixed mode, sharing)

[/Code]

Lisa Hadoop Kasutaja

• Step 5 – Lisa pühendatud Hadoop Unix kasutaja sind süsteemi all isoleerida selle seadmeni tarkvara –

[Code]

$ sudo adduser hadoop_admin

[/Code]

Lae Hadoop kahe- ja paigaldada

• Step 6 – Lae Apache Hadoop Apache kodulehel. Hadoop tuleb vormis tõrva-gx formaadis. Kopeeri see binaarne sisse / usr / local / installables kausta. kaust – installables tuleks luua kõigepealt / usr / local enne seda etappi. Nüüd käivitage järgmine käsk nagu sudo

[Code]

$ cd /usr/local/installables $ sudo tar xzf hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / hadoop-0.20.2

[/Code]

Määrake env muutuja – JAVA_HOME

• Step 7 – Avage Hadoop konfiguratsioonifaili (hadoop-env.sh) asukohta – /usr / local / installables / hadoop-0.20.2/conf / hadoop-env.sh ja määratleda JAVA_HOME nagu all -

[Code] ekspordi JAVA_HOME = tee / kus / jdk / on / paigaldatud [/Code]

(näiteks. /usr / bin / java)

Paigaldamine Ühemoodilisi

• Step 8 – Nüüd mine HADOOP_HOME kataloog (koht, kus hadoop ekstraheeritakse) ja käivitage järgmine käsk -

[Code]

$ bin / hadoop

[/Code]

Järgmised väljund kuvatakse -

[Code] kasutus: Hadoop [–config confdir] COMMAND

[/Code]

Mõned käsk võimalusi on nimetatud allpool. On ka teisi võimalusi ja saab kontrollida käsuga eespool.

[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility

[/Code]

Ülaltoodud väljund näitab, et Standalone installeerimine on lõpetatud edukalt. Nüüd võite käivitada proovi näiteid oma valik helistades -

[Code] $ bin/hadoop jar hadoop-*-examples.jar <NIMI> <PARAMEETRID>[/Code]

Pseudo laiali paigaldust: See on simuleeritud multi sõlme keskkonda, mis põhineb ühe sõlme server.
Siin on esimene samm vaja on konfigureerida SSH, et juurdepääsu ja juhtida erinevate sõlmede. Seega on kohustuslik omada SSH erinevate sõlmede. Kui SSH on seadistatud, lubatud ja on kättesaadav peaksime alustama seadistamise Hadoop. Järgmised konfiguratsiooni failid tuleb muuta -

• conf / core-site.xml
• conf / HDFS-site.xml
• conf / mapred.xml

Ava kõik konfiguratsiooni faile me toimetaja ja uuendada konfiguratsiooni.

Seadista core-site.xml faili:

[Code]$ vi conf / core-site.xml[/Code] [Code]<konfiguratsioon><kinnisvara><nimi>fs.default.name</nimi><väärtus>HDFS://localhost:9000</väärtus></kinnisvara><kinnisvara><nimi>hadoop.tmp.dir</nimi><väärtus>/tmp / hadoop- ${user.name}</väärtus></kinnisvara></konfiguratsioon>[/Code]

Seadista HDFS-site.xml faili:

[Code]$ vi conf / HDFS-site.xml[/Code] [Code]<konfiguratsioon><kinnisvara><nimi>dfs.replication</nimi><väärtus>1</väärtus></kinnisvara></konfiguratsioon>[/Code]

Seadista mapred.xml faili:

[Code]$ vi conf / mapred.xml[/Code] [Code]<konfiguratsioon><kinnisvara><nimi>mapred.job.tracker</nimi> <väärtus>localhost:9001</väärtus></kinnisvara></konfiguratsioon>[/Code] Once these changes are done, vajame vormindada nimi sõlme, kasutades järgmist käsku. Käsureale näidatakse kõiki sõnumeid üksteise järel ja lõpuks edu sõnum. [Code]$ bin / Hadoop namenode Format[/Code] Now our setup is done for pseudo distributed node. Olgem nüüd alustada ühe sõlme klastri, kasutades järgmist käsku. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Task Tracker[/Code]

Peatumine ühe sõlme Cluster: Me ei saa peatada ühe sõlme klastri, kasutades järgmist käsku. Käsureale kuvab kõik seiskumise protsessid.

[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: peatumine tasktrackerstopping namenodelocalhost: peatumine datanodelocalhost: peatumine secondarynamenode[/Code]

Distributed paigaldust:
Enne kui hakkame laiali paigaldust, peame tagama, et me oleme pseudo laiali setup teha ja meil on vähemalt kaks masinat, üks tegutseb kapten ja teine ​​tegutseb ori. Nüüd käivitage järgmine käskude jada.

· $ bin / stop-all.sh – Veenduge ükski sõlmed töötavad

• Ava / etc / hosts faili ja lisada järgmised tähised master ja slave –

<IP-AADRESS> master

<IP-AADRESS> ori

• $ ssh-copy-id -i $ HOME / .ssh / id_rsa.pub ori – See käsk tuleb täide kapten on passwordless ssh. Me peaks logida kasutades sama kasutajanime kõik masinad. Kui meil on vaja salasõna, saame seda käsitsi.
• Nüüd oleme avatud kaks faili – conf / master ja conf / orjad. Conf / magistriõppe määratleb nimi sõlmede meie multi sõlme klastri. Conf / orjad fail loetleb võõrustajad kus Hadoop Slave hakatakse näitama.
• Muutke conf / core-site.xml faili järgmised kanded –

<kinnisvara>

<nimi>fs.default.name</nimi>

<väärtus>HDFS://master:54310</väärtus>

</kinnisvara>

• Muutke conf / mapred-site.xml faili järgmised kanded –

<kinnisvara>

<nimi>mapred.job.tracker</nimi>

<väärtus>HDFS://master:54311</väärtus>

</kinnisvara>

• Muutke conf / HDFS-site.xml faili järgmised kanded –

<kinnisvara>

<nimi>dfs.replication</nimi>

<väärtus>2</väärtus>

</kinnisvara>

• Muutke conf / mapred-site.xml faili järgmised kanded –

<kinnisvara>

<nimi>mapred.local.dir</nimi>

<väärtus>${hadoop-tmp}/mapred / kohalik</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>mapred.map.tasks</nimi>

<väärtus>50</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>mapred.reduce.tasks</nimi>

<väärtus>5</väärtus>

</kinnisvara>

Nüüd hakata kaptenile järgmise käsuga.

[Code] bin / start-dfs.sh [/Code]

Käivitatud, oleku kohta master abil jps käsk. Sa peaksid saama järgmise väljundi -

[Code]

14799 NameNode

15314 Jps
16977 secondaryNameNode

[/Code]

Ori väljund peaks olema selline, nagu on näidatud allpool.

[Code]

15183 DataNode
15616 Jps

[/Code]

Nüüd käivita MapReduce deemonid, kasutades järgmist käsku.

[Code]

$ bin / start-mapred.sh

[/Code]

Käivitatud oleku kohta master abil jps käsk. Sa peaksid saama järgmise väljundi -

[Code]

16017 Jps

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Code]

Ja orjad väljund peaks olema selline, nagu on näidatud allpool.

[Code]

15183 DataNode

15897 TaskTracker
16284 Jps

[/Code]

Summary: Eespool arutelu oleme kaetud erinevate Hadoop paigaldusrežiime ja nende tehnilised andmed. Aga me peame olema ettevaatlikud valides installimisrežiimil. Erinevad režiimid on oma eesmärgi. Nii algajad peaksid alustama ühe paigaldust ning seejärel lisada muid võimalusi.
Olgem kokku meie arutelu järgmiste täppe

• Apache Hadoop saab paigaldada kolm erinevat režiimi –
  • Ühe sõlme
  • Pseudo laiali sõlme
  • Distributed sõlme
• Ühemoodilisi on lihtsaim viis paigaldada ja alustada.
• Kui meil on vaja klastrid, kuid on ainult üks sõlm saadaval, siis peaks minema Pseudo laiali režiimil
• Paigaldada jaotatud moodi me oleks pidanud pseudo jaotatud moodi paigaldatakse esimene.