TechAlpine – All About Technology

Pregled: Apache Hadoop može biti instaliran na različite načine kao i po zahtjevu. Ovi različiti načini su konfigurirani tijekom instalacije. Prema zadanim postavkama, Hadoop je instaliran u Samostalan Način. Drugi načini su pseudo distribuira način i distribuiran Način. Svrha ovog vodiča je objasniti različite načine instalacijske na jednostavan način, tako da čitatelji mogu pratiti i raditi svoj posao.

In this article, Ja ću razgovarati različitih načina za instalaciju i njihove detalje.

Uvođenje: Svi znamo da je Apache Hadoop je open source okvir koji omogućuje distribuiranu obradu velikih skupova podataka postavljenih na različitim klastera pomoću jednostavnog programiranja. Hadoop ima sposobnost da razmjeru na tisuće računala iz jednog poslužitelja. Tako je u tim uvjetima ugradnja Hadoop postaje najkritičnija. Možemo instalirati Hadoop na tri različita načina –

• samostalni način – Jedan čvor klastera
• Pseudo distribuirani način – Jedan čvor klastera
• Distributed način. – Multi Node klastera

Svrha različitih načina instalacije: Kada Apache Hadoop se koristi u proizvodnji okoliš, više poslužitelja čvorovi se koriste za distribuiranog računarstva. No, za razumijevanje osnove i igranje okolo sa Hadoop, pojedinačnu instalaciju čvor je dovoljan. Postoji još jedan način poznat kao 'Pseudo distribuira’ Način. Ovaj način se koristi za simulaciju multi čvor okoliš na jednom serveru.

U ovom dokumentu ćemo raspravljati o tome kako instalirati Hadoop na Ubunto Linux. Bilo da je bilo načina rada, sustav bi trebao imati java verzija 1.6.x instaliran na njemu.

Samostalni instalacije mod: Now, neka nam provjeriti samostalni postupak instalacije mod slijedeći korake navedene u nastavku.

Instalacija Java –
Java (JDK Verzija 1.6.x) bilo iz Sun / Oracle ili Open Java je potrebna.

• Step 1 – Ukoliko niste u mogućnosti prebaciti na OpenJDK umjesto korištenja vlasnički Sun JDK / JRE, instalacije za sunčanje java6 iz Canonical Partner repozitorija pomoću sljedeće naredbe.

Note: The Canonical Partner Repozitorij sadrži besplatno zatvorena source softver trećih strana. No, Canonical nema pristup izvornom kodu, umjesto da samo paket i test.

Dodaj kanonski partnera u apt repozitorija koriste –

[Code]

$ sudo add-apt-spremište “deb http://archive.canonical.com/lucid partner”

[/Code]

• Step 2 – Ažurirajte popis izvora.

[Code]

$ sudo apt-get ažuriranje

[/Code]

• Step 3 – Instalacija JDK verzije 1.6.x od sunca / Oracle.

[Code]

$ sudo apt-get install sun-java6-JDK

[/Code]

• Step 4 – Nakon JDK instalacije starijoj bi bili sigurni da je to ispravno postavljanje pomoću – verzija 1.6.x od Sun / Oracle.

[Code]

korisnik @ ubuntu:~# java -version java version “1.6.0_45” Java(TM) SE Runtime Environment (graditi 1.6.0_45-B02) Java HotSpot(TM) Client VM (izgradnju 16,4-B01, mixed mode, sharing)

[/Code]

Dodaj Hadoop korisnika

• Step 5 – Dodaj posvećena Hadoop Unix korisnika u vas sustav kao pod izolirati tu instalaciju s drugim softverom –

[Code]

$ sudo adduser hadoop_admin

[/Code]

Preuzmite Hadoop binarni i instalirati

• Step 6 – Preuzimanje Apache Hadoop s web stranice Apache. Hadoop dolazi u obliku Tar-gx formatu. Kopirajte ovaj binarni u / usr / local / installables mapu. mapa se – installables trebao biti izrađen prvi put pod / usr / local prije ovog koraka. Sada pokrenite sljedeće naredbe kao sudo

[Code]

$ cd /usr/local/installables $ Sudo TAR xzf Hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / Hadoop-0.20.2

[/Code]

Definirajte env varijable – JAVA_HOME

• Step 7 – Otvorite Hadoop konfiguracijske datoteke (hadoop-env.sh) na mjestu – /usr / local / installables / Hadoop-0.20.2/conf / hadoop-env.sh i definirati JAVA_HOME kao pod -

[Code] izvoz JAVA_HOME = put / gdje / JDK / je / instalirana [/Code]

(na primjer. /usr / bin / java)

Montaža u jedinstvenom načinu

• Step 8 – Sada idite na HADOOP_HOME imenik (Mjesto na kojem je izvađen Hadoop) i trčanje slijedeće naredba -

[Code]

$ bin / Hadoop

[/Code]

Sljedeći izlaz će biti prikazana -

[Code] Posjećenost: hadoop [–config confdir] NAREDBA

[/Code]

Neke od opcija komandne su navedeni u nastavku. Postoje i druge opcije na raspolaganju i može se provjeriti pomoću naredbe gore navedeni.

[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility

[/Code]

Gornji izlazni pokazuje da Samostalni instalacija uspješno završena. Sada možete pokrenuti ogledne primjere vašem izboru člana zove -

[Code] $ bin/hadoop jar hadoop-*-examples.jar <IME> <PARAMETRI>[/Code]

Pseudo distribuira instalacija mod: Ovo je simulirano više čvor okoliša temelji se na jednom čvoru poslužitelja.
Ovdje prvi korak potrebno je konfigurirati SSH kako bi se pristup i upravljanje različitim čvorovima. Tako je obavezno da imaju pristup SSH na različitim čvorovima. Nakon što je SSH konfiguriran, omogućena, a dostupan je treba početi konfiguriranje Hadoop. Sljedeće konfiguracijske datoteke mora biti modificirana -

• conf / core-site.xml
• conf / HDF-ovi-site.xml
• conf / mapred.xml

Otvoriti sve konfiguracijske datoteke su u mi urednik i ažuriranje konfiguracije.

Konfiguracija jezgra-site.xml datoteku:

[Code]$ vi conf / jezgra-site.xml[/Code] [Code]<konfiguracija><vlasništvo><ime>fs.default.name</ime><vrijednost>HDF-ovi://localhost:9000</vrijednost></vlasništvo><vlasništvo><ime>hadoop.tmp.dir</ime><vrijednost>/tmp / hadoop- ${user.name}</vrijednost></vlasništvo></konfiguracija>[/Code]

Konfiguracija HDF-ovi-site.xml datoteku:

[Code]$ vi conf / HDF-ovi-site.xml[/Code] [Code]<konfiguracija><vlasništvo><ime>dfs.replication</ime><vrijednost>1</vrijednost></vlasništvo></konfiguracija>[/Code]

Konfiguracija mapred.xml datoteku:

[Code]$ vi conf / mapred.xml[/Code] [Code]<konfiguracija><vlasništvo><ime>mapred.job.tracker</ime> <vrijednost>localhost:9001</vrijednost></vlasništvo></konfiguracija>[/Code] Once these changes are done, moramo formatirati ime čvora naredbom. U naredbeni redak će pokazati sve poruke jednu za drugom i na kraju uspjeh poruku. [Code]$ bin / Hadoop namenode -format[/Code] Now our setup is done for pseudo distributed node. Idemo sada pokrenuti jedan čvor klastera pomoću sljedeće naredbe. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Zadatak Tracker[/Code]

Zaustavljanje jednu čvor klastera: Možemo zaustaviti jedan čvor klastera pomoću sljedeće naredbe. U naredbeni redak će prikazati sve zaustavljanje procesa u.

[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: zaustavljanje tasktrackerstopping namenodelocalhost: zaustavljanje datanodelocalhost: zaustavljanje secondarynamenode[/Code]

Distributed instalacija mod:
Prije nego što smo započeli distribuira instalacije moda, moramo osigurati da smo se pseudo distribuira postavljanje učinjeno i imamo najmanje dva stroja, jedan koji djeluje kao master, a drugi djeluje kao roba. Sada smo pokrenuti sljedeće naredbe u nizu.

· $ bin / stop-all.sh – Pobrinite se nitko od čvorova izvode

• Otvorite / etc / hosts datoteku i dodajte sljedeće podatke za gospodara i roba –

<IP ADRESA> master

<IP ADRESA> rob

• $ ssh-copy-id -i $ HOME / .ssh / id_rsa.pub rob – Ova naredba mora biti izvršena na master imati passwordless ssh. Trebamo se prijaviti koristeći isto korisničko ime na svim strojevima. Ako nam je potrebna lozinka, možemo ga postaviti ručno.
• Sada smo otvorili dvije datoteke – conf / majstor i conf / robovi. Conf / master određuje naziv čvorovi našeg više čvorova klastera. Conf / robovi datoteka ispisuje domaćine gdje Hadoop rob će biti pokrenut.
• Uredite conf / jezgra-site.xml datoteku imati sljedeće podatke –

<vlasništvo>

<ime>fs.default.name</ime>

<vrijednost>HDF-ovi://master:54310</vrijednost>

</vlasništvo>

• Uredite conf / mapred-site.xml datoteku imati sljedeće podatke –

<vlasništvo>

<ime>mapred.job.tracker</ime>

<vrijednost>HDF-ovi://master:54311</vrijednost>

</vlasništvo>

• Uredite conf / HDF-ovi-site.xml datoteku imati sljedeće podatke –

<vlasništvo>

<ime>dfs.replication</ime>

<vrijednost>2</vrijednost>

</vlasništvo>

• Uredite conf / mapred-site.xml datoteku imati sljedeće podatke –

<vlasništvo>

<ime>mapred.local.dir</ime>

<vrijednost>${Hadoop-TMP}/mapred / lokalni</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>mapred.map.tasks</ime>

<vrijednost>50</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>mapred.reduce.tasks</ime>

<vrijednost>5</vrijednost>

</vlasništvo>

Sada pokrenite majstor pomoću sljedeće naredbe.

[Code] bin / start-dfs.sh [/Code]

Nakon što je započeo, provjeriti stanje na majstora pomoću JPS naredbu. Te bi trebao dobiti sljedeće output -

[Code]

14799 NameNode

15314 JPS
16977 secondaryNameNode

[/Code]

Na rob snagu treba kao što je prikazano u nastavku.

[Code]

15183 DataNode
15616 JPS

[/Code]

Sada početak MapReduce demone pomoću sljedeće naredbe.

[Code]

$ bin / start-mapred.sh

[/Code]

Nakon što je započeo provjeriti stanje na majstora pomoću JPS naredbu. Te bi trebao dobiti sljedeće output -

[Code]

16017 JPS

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Code]

A na robova snagu treba kao što je prikazano u nastavku.

[Code]

15183 DataNode

15897 TaskTracker
16284 JPS

[/Code]

Summary: U gornjoj raspravi smo pokriveni različitih načina Hadoop instalacijske i njihove tehničke detalje. No, moramo biti oprezni pri odabiru načina instalacije. Različiti načini imaju svoju svrhu. Dakle, početnici bi trebali početi s jednim instalacije mod, a zatim nastavite s drugim opcijama.
Neka nam rezimirati našu raspravu sa sljedećim metaka

• Apache Hadoop može biti instaliran na tri različita načina –
  • Jedan čvor
  • Pseudo distribuira čvor
  • Distributed čvor
• Jedan način je najjednostavniji način za instalaciju i početak.
• Ako trebamo klastera, ali imaju samo jedan čvor dostupan, onda smo trebali ići za Pseudo distribuirani način rada
• Za instaliranje distribuira mod trebali smo pseudo distribuirani način prvi instaliran.