Hadoop-tilassa
Yleiskatsaus: Apache Hadoop voidaan asentaa eri tiloissa kohti vaatimus. Nämä eri tilat on määritetty asennuksen aikana. Oletuksena, Hadoop on asennettu Itsenäinen tila. Muut tilat ovat pseudo jaettu tila ja hajautettu tila. Tämän opetusohjelma on selvittää eri asennustilan yksinkertaisella tavalla niin, että lukijat voivat seurata ja tehdä omaa työtään.
In this article, Aion keskustella eri asennus- tilat ja niiden tiedot.
Käyttöönotto: Me kaikki tiedämme, että Apache Hadoop on avoimen lähdekoodin kehys on jaettu suurien tietomäärien asettaa eri klustereiden yksinkertaisilla ohjelmointi. Hadoop on kyky mittakaavassa jopa tuhansia tietokoneita yhdeltä palvelimelta. Niinpä näissä olosuhteissa asennus Hadoop tulee kriittisin. Voimme asentaa Hadoop kolmessa eri tilassa –
- Erillinen tila – Yhden solmun klusteri
- Pseudo jaettu tila – Yhden solmun klusteri
- hajautettu tila. – Multi Node Cluster
Tarkoituksena eri asennustilan: Kun Apache Hadoop käytetään tuotantoympäristössä, useita palvelimen solmuja käytetään hajautetun laskennan. Mutta ymmärtää perusasiat ja pelaa noin Hadoop, yhden solmun asennus riittää. On toinenkin tila tunnetaan nimellä "Pseudo jaettu’ tila. Tätä tilaa käytetään simuloimaan usean solmun ympäristö yhdellä palvelimella.
Tässä asiakirjassa aiomme keskustella miten asentaa Hadoop on Ubunto Linux. Olipa tahansa tilassa, Järjestelmän pitäisi olla Java-versio 1.6.x asennettu sille.
Erillinen tila asennus: Now, olkaamme tarkistaa itsenäisinä laitteina asennus noudattamalla jäljempänä mainitun.
Asenna Java –
Jaava (JDK versio 1.6.x) joko su / Oracle tai Open Java vaaditaan.
- Step 1 – Jos et pysty vaihtamaan OpenJDK sijaan käyttää omaa Sun JDK / JRE, Asenna aurinko-java6 Canonicalin Partner Varastokirjastosta käyttämällä seuraavaa komentoa.
Note: The Canonical Partner Repository sisältää maksutta suljetun lähdekoodin kolmannen osapuolen ohjelmistoja. Mutta Canonical ei ole pääsyä lähdekoodiin sijaan he vain paketti ja testata sitä.
Lisää kanoninen kumppani apt arkistoja käyttäen –
[Code]
$ sudo add-apt-arkistoon “deb http://archive.canonical.com/lucid kumppani”
[/Code]
- Step 2 – Lähdeluettelon päivittäminen.
[Code]
$ sudo apt-get update
[/Code]
- Step 3 – Asenna JDK versio 1.6.x Sun / Oracle.
[Code]
$ sudo apt-get install sun-java6-jdk
[/Code]
- Step 4 – Kun JDK asennus on varmista, että se on oikein asennusta käyttämällä – version 1.6.x Sun / Oracle.
[Code]
käyttäjä @ ubuntu:~# java -version java version “1.6.0_45” Jaava(TM) SE Runtime Environment (rakentaa 1.6.0_45-B02) Java HotSpot(TM) Client VM (rakentaa 16,4-B01, mixed mode, sharing)
[/Code]
Lisää Hadoop Käyttäjä
- Step 5 – Lisää oma Hadoop unix teihin järjestelmän mukaisesti eristämään tämän asennuksen muista ohjelmista –
[Code]
$ sudo adduser hadoop_admin
[/Code]
Lataa Hadoop binary ja asentaa
- Step 6 – Lataa Apache Hadoop päässä Apache kotisivuilta. Hadoop tulee muodossa tervaa-gx formaatti. Kopioi tämä binary osaksi / usr / local / installables kansio. kansio – installables olisi luotava ensin / usr / local ennen tätä vaihetta. Juokse seuraavat komennot sudo
[Code]
$ cd /usr/local/installables $ sudo terva xzf Hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / Hadoop-0.20.2
[/Code]
Määrittele env muuttuja – JAVA_HOME
- Step 7 – Avaa Hadoop asetustiedostoa (hadoop-env.sh) paikkaan – /usr / local / installables / Hadoop-0.20.2/conf / hadoop-env.sh ja määritellä JAVA_HOME kuten alla -
[Code] vienti JAVA_HOME = polku / missä / JDK / ei / asennettu [/Code]
(esim. /usr / bin / java)
Asennus Single mode
- Step 8 – Mene nyt HADOOP_HOME hakemistoon (paikassa, jossa Hadoop uutetaan) ja suorita seuraava komento -
[Code]
$ bin / Hadoop
[/Code]
Seuraavat lähtö näkyy -
[Code] Usage: Hadoop [–config confdir] KOMENTO
[/Code]
Osa komentoja on mainittu alla. Muitakin vaihtoehtoja ja voidaan tarkistaa komennolla edellä mainittujen.
[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility
[/Code]
Edellä lähtö osoittaa, että Itsenäinen asennus on suoritettu onnistuneesti. Nyt voit suorittaa näytteen esimerkkejä valintasi soittamalla -
[Code] $ bin/hadoop jar hadoop-*-examples.jar <NIMI> <parametrien>[/Code]
Pseudo jaettu tila asennus: Tämä on simuloitu usean solmun ympäristö perustuu yhteen solmuun palvelimen.
Tässä ensimmäinen tarvittava on määrittää SSH jotta pääsy ja hallita eri solmuissa. Näin ollen on pakko olla SSH pääsy eri solmuissa. Kun SSH on määritetty, käytössä ja pääsee meidän pitäisi aloittaa määrittämällä Hadoop. Seuraavat asetustiedostot on muutettava -
- conf / core-site.xml
- conf / HDFS-site.xml
- conf / mapred.xml
Avaa kaikki asetustiedostot me toimittaja ja päivittää kokoonpano.
Määritä core-site.xml tiedosto:
[Code]$ vi conf / core-site.xml[/Code] [Code]<kokoonpano><omaisuus><nimi>fs.default.name</nimi><arvo>HDFS://localhost:9000</arvo></omaisuus><omaisuus><nimi>hadoop.tmp.dir</nimi><arvo>/tmp / hadoop- ${user.name}</arvo></omaisuus></kokoonpano>[/Code]
Määritä HDFS-site.xml tiedosto:
[Code]$ vi conf / HDFS-site.xml[/Code] [Code]<kokoonpano><omaisuus><nimi>dfs.replication</nimi><arvo>1</arvo></omaisuus></kokoonpano>[/Code]
Määritä mapred.xml tiedosto:
[Code]$ vi conf / mapred.xml[/Code] [Code]<kokoonpano><omaisuus><nimi>mapred.job.tracker</nimi> <arvo>localhost:9001</arvo></omaisuus></kokoonpano>[/Code] Once these changes are done, meidän täytyy alustaa nimi solmun käyttämällä seuraavaa komentoa. Komentorivi näyttää kaikki viestit peräkkäin ja lopuksi menestys viesti. [Code]$ bin / Hadoop namenode -formaatissa[/Code] Now our setup is done for pseudo distributed node. Katsotaan nyt alkaa yhden solmun klusterin käyttämällä seuraavaa komentoa. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Task Tracker[/Code]
Pysäyttäminen Single solmu Cluster: Voimme lopettaa yhden solmun klusterin käyttämällä seuraavaa komentoa. Komentorivi näyttää kaikki lopettamisesta prosessit.
[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: pysähtymättä tasktrackerstopping namenodelocalhost: pysähtymättä datanodelocalhost: pysähtymättä secondarynamenode[/Code]
Hajautettu mode asennus:
Ennen kuin alamme hajautettu tila asennus, meidän on varmistettava, että olemme pseudo jaettu asetukset tehty ja meillä on ainakin kaksi konetta, joista toinen toimii master ja toinen toimii orjana. Nyt suorita seuraavat komennot järjestyksessä.
· $ bin / stop-all.sh – Varmista, että mikään solmuista ovat käynnissä
- Avaa / etc / hosts-tiedosto ja lisää seuraavat rivit master ja slave –
<IP-OSOITE> master
<IP-OSOITE> orja
- $ ssh-copy-id -i $ HOME / .ssh / id_rsa.pub orja – Tämä komento tulee suorittaa master olla passwordless ssh. Meidän pitäisi kirjautua samalla käyttäjätunnuksella kaikissa koneissa. Jos tarvitsemme salasana, voimme asettaa sen manuaalisesti.
- Nyt avaamme kaksi tiedostoa – conf / master ja conf / slave. Conf / master määrittelee nimi solmut meidän multi solmun klusteri. Conf / orjat tiedosto luetellaan isäntien jossa Hadoop Slave on käynnissä.
- Muokattava conf / ydin-site.xml tiedosto on seuraavat merkinnät –
<omaisuus>
<nimi>fs.default.name</nimi>
<arvo>HDFS://master:54310</arvo>
</omaisuus>
- Muokattava conf / mapred-site.xml tiedosto on seuraavat merkinnät –
<omaisuus>
<nimi>mapred.job.tracker</nimi>
<arvo>HDFS://master:54311</arvo>
</omaisuus>
- Muokattava conf / HDFS-site.xml tiedosto on seuraavat merkinnät –
<omaisuus>
<nimi>dfs.replication</nimi>
<arvo>2</arvo>
</omaisuus>
- Muokattava conf / mapred-site.xml tiedosto on seuraavat merkinnät –
<omaisuus>
<nimi>mapred.local.dir</nimi>
<arvo>${Hadoop-tmp}/mapred / paikallinen</arvo>
</omaisuus>
<omaisuus>
<nimi>mapred.map.tasks</nimi>
<arvo>50</arvo>
</omaisuus>
<omaisuus>
<nimi>mapred.reduce.tasks</nimi>
<arvo>5</arvo>
</omaisuus>
Käynnistä nyt master käyttämällä seuraavaa komentoa.
[Code] bin / start-dfs.sh [/Code]
Kun alkoi, tilan tarkistaminen master käyttämällä jps komennolla. Sinun pitäisi saada seuraavat ulostulo -
[Code]
14799 NameNode
15314 JPS
16977 secondaryNameNode
[/Code]
Slave tuotos olisi kuten alla.
[Code]
15183 DataNode
15616 JPS
[/Code]
Käynnistä nyt MapReduce demonit käyttämällä seuraavaa komentoa.
[Code]
$ bin / start-mapred.sh
[/Code]
Kun alkoi tarkistaa tilan master käyttämällä jps komennolla. Sinun pitäisi saada seuraavat ulostulo -
[Code]
16017 JPS
14799 NameNode
15596 JobTracker
14977 SecondaryNameNode
[/Code]
Ja orjat tuotos olisi kuten alla.
[Code]
15183 DataNode
15897 TaskTracker
16284 JPS
[/Code]
Summary: Yllä keskustelussa olemme käsitelleet eri Hadoop asennuksen tilat ja niiden tekniset tiedot. Mutta meidän on oltava varovaisia valittaessa asennustila. Eri tilat on omat tarkoitukseen. Joten aloittelijoille pitäisi aloittaa yksimuoto asennus- ja jatka sitten muita vaihtoehtoja.
Olkaamme yhteenveto keskustelumme seuraavien luodit
- Apache Hadoop voidaan asentaa kolmella eri tavalla –
- Yhden solmun
- Pseudo jaettu solmu
- hajautettu solmu
- Single mode on yksinkertaisin tapa asentaa ja päästä alkuun.
- Jos tarvitsemme klusterit, mutta on vain yksi solmu käytettävissä, meidän pitäisi mennä Pseudo hajamoodinen
- Asentaa jaettu tila olisimme pseudo jaettu tila asennetaan ensin.
