Hadoop modua
Orokorra: Apache Hadoop ahal modalitatetan baldintza per bezala instalatu daiteke. modu desberdinak hauek instalazioan zehar daude konfiguratuta. By default, Hadoop dago instalatuta Bakarka mode. beste moduak hauek dira pseudo banatu modua eta banatu mode. Tutorial honen helburua da instalazio modalitatetan azaltzeko modu erraz batean hain irakurle horri jarraitu eta beren lana egin ahal.
In this article, instalazio modalitatetan eta bere datuak hitz egingo dut.
Sarrera: Denok dakigu Apache Hadoop iturburu irekiko esparru horretan klusterrak ezberdinetan zehar ezarritako datu-multzo handiak prozesatzeko banatzen esker, programazio simple erabiliz. Hadoop eskalatzeko ordenagailuak milaka zerbitzari bakar batetik gaitasuna du. Horrela, baldintza horietan Hadoop instalazioa larrienetako bihurtzen. Hadoop instalatu ahal izango dugu hiru modalitatetan –
- Bakarka modua – Bakar Node Klusterra
- Pseudo banatzen modua – Bakar Node Klusterra
- Banatutako modua. – Multi Node Klusterra
instalazio modalitatetan xedea: Noiz Apache Hadoop ekoizpen ingurune batean erabiliko da, anitz zerbitzari nodo informatika banatuak erabiltzen dira. Baina oinarriak ulertzeko eta inguruan jolasten Hadoop dituzten, nodo bakar instalazio nahikoa da. Badira izeneko modua da 'Sasi banatu’ mode. Modu hau multi nodo ingurune simulatu bakar zerbitzari bat erabiltzen da.
Dokumentu honetan Hadoop nola instalatu Ubunto Linux hitz egingo dugu. Izango da, edozein modalitate, sistema java bertsioa 1.6.x instalatuta eduki behar.
Bakarka modua instalazio: Now, utzi du bakarkako moduan instalazio prozesuan egiaztatu digu aipatu beheko urratsei jarraituz.
Instalatu Java –
Java (JDK Bertsioa 1.6.x) bai Sun / Oracle edo Open Java eskatzen.
- Step 1 – ez zara OpenJDK aldatzeko ordez jabedun Sun JDK / JRE erabiliz ahal bada, instalatu eguzki-java6 Canonical Partner Repository batetik ondorengo komandoa erabilita.
Note: The Canonical Partner Repository dauka kostu iturria itxien hirugarren software librea. Baina Canonical ez du iturri kodea sarbidea izan ordez pakete besterik ez dute eta probatzeko.
Gehitu kanonikoak bazkide apt repositories erabiliz –
[Code]
$ sudo add-apt-repository “deb http://archive.canonical.com/lucid bazkide”
[/Code]
- Step 2 – Eguneratu iturria zerrendatik.
[Code]
$ sudo apt-get update
[/Code]
- Step 3 – Instalatu JDK bertsioa Sun / Oracle from 1.6.x.
[Code]
$ sudo apt-get install sun-java6-JDK
[/Code]
- Step 4 – Behin JDK instalazio baino gehiago egin da ziurtatu behar bezala konfigurazioa erabiliz dela – Sun / Oracle from bertsioa 1.6.x.
[Code]
Erabiltzaile @ ubuntu:~# java -version java version “1.6.0_45” Java(TM) SE Runtime Environment (eraikitzeko 1.6.0_45-B02) Java HotSpot(TM) Client VM (eraikitzeko 16,4-B01, mixed mode, sharing)
[/Code]
Gehitu Hadoop Erabiltzaileak
- Step 5 – Gehitu dedikatu Hadoop Unix erabiltzailea duzu sistema sartu pean gisa instalazio hau beste software batetik isolatzea –
[Code]
$ sudo adduser hadoop_admin
[/Code]
Jaitsi Hadoop bitarra eta instalatu
- Step 6 – Jaitsi Apache Hadoop Apache web gunetik. Hadoop tar-gx formatuan formularioa dator. Kopiatu binary honek / usr / local sartu / installables karpetan. karpeta – installables sortu behar dira lehen / usr / local azpian urrats hau lehenago. Orain exekutatu komando hauek sudo gisa
[Code]
$ cd /usr/local/installables $ sudo tar xzf hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / hadoop-0.20.2
[/Code]
Zehaztu env aldakorra – JAVA_HOME
- Step 7 – Ireki Hadoop konfigurazio fitxategia (hadoop-env.sh) kokapenean – /usr / local / installables / hadoop-0.20.2/conf / hadoop-env.sh eta JAVA_HOME definitzeko pean bezala -
[Code] export = JAVA_HOME bidea / non / JDK / da / instalatu [/Code]
(adibidez. /usr / bin / java)
Single moduan instalazioa
- Step 8 – Orain HADOOP_HOME direktorioa joan (kokapena non Hadoop ateratzen da) eta exekutatu komando -
[Code]
$ bin / hadoop
[/Code]
Hurrengo irteera agertuko dira -
[Code] Usage: hadoop [–config confdir] COMMAND
[/Code]
COMMAND Aukera batzuk jarraian aipatzen dira. Badira beste aukera eta egiaztatu ahal izango da, lehen aipatutako komandoa erabiliz.
[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility
[/Code]
batez irteera dela adierazten Instalazio hori ongi burutu da. Orain lagin zure aukera adibide deituz exekutatu ahal izango duzu -
[Code] $ bin/hadoop jar hadoop-*-examples.jar <NAME> <PARAMS>[/Code]
Pseudo banatzen moduko instalazioa: Hau simulatu multi nodo nodo oinarritutako zerbitzari bakar batean ingurune bat da.
Hemen eskatutako lehenengo urratsa da SSH konfiguratzeko ordena sarbidea eta nodo desberdinen kudeatzeko. Horrela derrigorrezko da SSH nodo desberdinen sarbidea izatea. Behin SSH konfiguratzeko, gaitutako eta eskuragarria da Hadoop konfiguratzen hasi behar dugu. Konfigurazio fitxategiak honako eraldatutako behar dira -
- conf / core-site.xml
- conf / hdfs-site.xml
- conf / mapred.xml
Ireki konfigurazio fitxategi guztiak ere dugu editore eta konfigurazioa eguneratzeko.
Konfiguratu core-site.xml fitxategia:
[Code]$ vi conf / core-site.xml[/Code] [Code]<konfigurazio><jabetza><izena>fs.default.name</izena><balioa>hdfs://localhost:9000</balioa></jabetza><jabetza><izena>hadoop.tmp.dir</izena><balioa>/tmp / hadoop- ${user.name}</balioa></jabetza></konfigurazio>[/Code]
Konfiguratu HDFS-site.xml fitxategia:
[Code]$ vi conf / HDFS-site.xml[/Code] [Code]<konfigurazio><jabetza><izena>dfs.replication</izena><balioa>1</balioa></jabetza></konfigurazio>[/Code]
Konfiguratu mapred.xml fitxategia:
[Code]$ vi conf / mapred.xml[/Code] [Code]<konfigurazio><jabetza><izena>mapred.job.tracker</izena> <balioa>localhost:9001</balioa></jabetza></konfigurazio>[/Code] Once these changes are done, name nodoa formateatzeko ondorengo komandoa erabilita behar dugu. Komando Galdetu mezu guztiak erakutsiko ditu bata bestearen atzetik, eta, azkenik, arrakasta mezua. [Code]$ bin / Hadoop namenode -format[/Code] Now our setup is done for pseudo distributed node. Dezagun hasteko, gaur egun nodo bakar kluster ondorengo komandoa erabilita. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Task Tracker[/Code]
Banako nodo Klusterra gelditzea: nodo bakar kluster gelditu ahal izango dugu ondorengo komandoa erabilita. komando gonbita gelditu prozesu guztiak bistaratuko du.
[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: tasktrackerstopping namenodelocalhost gelditu: datanodelocalhost gelditu: gelditu secondarynamenode[/Code]
Banatutako moduko instalazioa:
banatu moduko instalazioa hasi aurretik, duten sasi banatzen Konfiguratutakoan bermatu behar dugu eta, gutxienez, bi makinak dugu, Ukan bat maisu gisa eta beste bat esklabo gisa jarduteko. Orain hauek, exekutatu komando dugu.
· $ bin / stop-all.sh – Ziurtatu nodo batek ere ez du martxan dira
- Ireki / etc / hosts fitxategia eta honako sarrerak gehitzeko master eta esklabo egiteko –
<IP helbidea> master
<IP helbidea> esklabo
- $ ssh-kopia-id -i $ HOME / .ssh / id_rsa.pub esklabo – Komando honek maisu exekutatu behar du pasahitz ssh dute. makina guztiak on izen berdina erabiliz errejistratu behar dugu. Pasahitza beharko dugu bada, ezarri ahal izango dugu eskuz.
- Orain bi fitxategiak ireki dugu – conf / master eta conf / esklabo. The conf / master name gure multi nodo kluster nodo definitzen. conf / esklabo fitxategia ostalariak zerrendatzen non Hadoop Slave, martxan egongo da.
- Editatu conf / core-site.xml fitxategia honako sarrerak dute –
<jabetza>
<izena>fs.default.name</izena>
<balioa>hdfs://master:54310</balioa>
</jabetza>
- Editatu conf / mapred-site.xml fitxategia honako sarrerak dute –
<jabetza>
<izena>mapred.job.tracker</izena>
<balioa>hdfs://master:54311</balioa>
</jabetza>
- Editatu conf / HDFS-site.xml fitxategia honako sarrerak dute –
<jabetza>
<izena>dfs.replication</izena>
<balioa>2</balioa>
</jabetza>
- Editatu conf / mapred-site.xml fitxategia honako sarrerak dute –
<jabetza>
<izena>mapred.local.dir</izena>
<balioa>${hadoop-tmp}/mapred / local</balioa>
</jabetza>
<jabetza>
<izena>mapred.map.tasks</izena>
<balioa>50</balioa>
</jabetza>
<jabetza>
<izena>mapred.reduce.tasks</izena>
<balioa>5</balioa>
</jabetza>
Orain maisua hasteko ondorengo komandoa erabilita.
[Code] bin / start-dfs.sh [/Code]
Behin hasi, maisu on egoera egiaztatu JPS komandoa erabiliz. Hurrengo irteera lortu behar duzu -
[Code]
14799 NameNode
15314 JPS
16977 secondaryNameNode
[/Code]
esklabua On irteera azpian bezala beharko litzateke.
[Code]
15183 DataNode
15616 JPS
[/Code]
Orain hasteko MapReduce daemon ondorengo komandoa erabilita.
[Code]
$ bin / start-mapred.sh
[/Code]
Hasi eta maisu on egoera egiaztatu JPS komandoa erabiliz. Hurrengo irteera lortu behar duzu -
[Code]
16017 JPS
14799 NameNode
15596 JobTracker
14977 SecondaryNameNode
[/Code]
Eta esklabo on irteera azpian bezala beharko litzateke.
[Code]
15183 DataNode
15897 TaskTracker
16284 JPS
[/Code]
Summary: gainetik eztabaida Hadoop instalazio modalitatetan eta bere xehetasun tekniko estaltzen dugu. Baina kontuz ibili behar dugu, betiere instalazio modua aukeratuz. modu desberdinak beraien helburua egin dute. Beraz, hasiberri bakar moduan instalazio batekin hasi behar du, eta, ondoren, beste aukerekin jarraitzeko.
Dezagun gure eztabaida laburbiltzen digu honako balak batera
- Apache Hadoop hiru modalitatetan instalatu dezakezu –
- Bakar node
- Pseudo banatu nodo
- Banatutako node
- Single moduan instalatu eta Hasteko modurik errazena da.
- klusterrak behar dugu baina nodo bakar bat eskuragarri izan bada, gero guk modua Pseudo banatzen joan behar
- banatu modua izan sasi banatzen moduan instalatu behar dugu lehenengo instalatzeko.
