TechAlpine – All About Technology

Përmbledhje: Apache Hadoop mund të instalohet në mënyra të ndryshme, si për kërkesat. Këto mënyra të ndryshme janë konfiguruar gjatë instalimit. By default, Hadoop është instaluar në standalone mënyrë. Mënyrat e tjera janë pseudo shpërndarë mënyra dhe të shpërndara mënyrë. Qëllimi i këtij studimi është të shpjegojë mënyra të ndryshme për instalimin në një mënyrë të thjeshtë në mënyrë që lexuesit mund ta ndjekin atë dhe të bëjnë punën e tyre.

In this article, Unë do të diskutojnë mënyra të ndryshme e instalimit dhe të dhënat e tyre.

Parathënie: Ne të gjithë e dimë se Apache Hadoop është një kornizë me burim të hapur i cili mundëson përpunimin shpërndarë nga grupe të mëdha të të dhënave të përcaktuara në të gjithë grupimeve të ndryshme duke përdorur programe të thjeshtë. Hadoop ka aftësinë për të shkallës deri në mijëra kompjuterë nga një server të vetëm. Kështu në këto kushte instalimin e Hadoop bëhet më kritike. Ne mund të instaloni Hadoop në tre mënyra të ndryshme –

• mënyra standalone – Cluster Single Node
• Pseudo mënyra të shpërndara – Cluster Single Node
• mënyra shpërndarë. – Multi Nyja Cluster

Qëllimi i llojeve të ndryshme të instalimit: Kur Apache Hadoop përdoret në një mjedis të prodhimit, nyje të shumta server janë përdorur për informatikë shpërndarë. Por, për të kuptuar bazat dhe duke luajtur rreth me Hadoop, instalimi i vetëm nyjë është e mjaftueshme. Nuk është një tjetër mënyrë e njohur si "Pseudo shpërndarë’ mënyrë. Kjo mënyrë përdoret për të simuluar mjedisin multi nyje në një server të vetëm.

Në këtë dokument ne do të diskutojnë se si ta instaloni Hadoop në Ubunto Linux. Të jetë kjo ndonjë regjim, sistemi duhet të ketë java version 1.6.x instaluar në të.

instalimi Standalone mënyra: Now, le të kontrolluar procesin e instalimit modalitetit të pavarur duke ndjekur hapat e përmendur më poshtë.

Instalo Java –
Java (JDK Version 1.6.x) ose nga Sun / Oracle ose Open Java është e nevojshme.

• Step 1 – Nëse ju nuk jeni në gjendje për të kaluar në OpenJDK në vend të përdorimit të pronarit Sun JDK / JRE, instaluar dielli-java6 nga Canonical Partner depo duke përdorur komandën e mëposhtme.

Note: The Canonical Partner Repository përmban të lirë të kostos burim i mbyllur software palës së tretë. Por Canonical nuk ka qasje në kodin burimor në vend të kësaj ata vetëm paketës dhe të provuar atë.

Shto partnerin kanonik në Repositories prirur përdorur –

[Code]

$ sudo add-apt-depo “deb http://partner archive.canonical.com/lucid”

[/Code]

• Step 2 – Rinovuar listën burim.

[Code]

$ sudo apt-get përditësim

[/Code]

• Step 3 – Instalo versionin JDK 1.6.x nga Sun / Oracle.

[Code]

$ sudo apt-get install sun-java6-JDK

[/Code]

• Step 4 – Pasi instalimi JDK është mbi të sigurt se ajo është e saktë të setup përdorur – version 1.6.x nga Sun / Oracle.

[Code]

Përdorues @ ubuntu:~# java -version java version “1.6.0_45” Java(TM) SE Runtime Environment (ndërtuar 1.6.0_45-b02) Java HotSpot(TM) Client VM (ndërtuar 16.4-B01, mixed mode, sharing)

[/Code]

Shto Hadoop përdoruesin

• Step 5 – Shto një dedikuar përdorues Hadoop Unix në ju sistem si në për të izoluar këtë instalim nga programe të tjera –

[Code]

$ sudo adduser hadoop_admin

[/Code]

Shkarko binare Hadoop dhe instalim

• Step 6 – Shkarko Apache Hadoop nga faqja e internetit apache. Hadoop vjen në formën e format tar-GX. Kopjoni këtë binare në të / usr / local / installables dosje. dosje – installables duhet të krijohet për herë të parë në / usr / local para këtë hap. Tani drejtuar komandat e mëposhtme si sudo

[Code]

$ cd /usr/local/installables $ sudo Tar xzf Hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / Hadoop-0.20.2

[/Code]

Definimi ndryshueshme env – JAVA_HOME

• Step 7 – Hapni skedarin e konfigurimit Hadoop (hadoop-env.sh) në vend të – /usr / local / installables / Hadoop-0.20.2/conf / hadoop-env.sh dhe të përcaktojë JAVA_HOME si në -

[Code] eksportit JAVA_HOME = path / ku / JDK / është / instaluar [/Code]

(e.g. /usr / bin / java)

Instalimi në mënyrë të vetme

• Step 8 – Tani shkoni tek directory HADOOP_HOME (vendi ku është nxjerrë Hadoop) dhe të drejtuar komandën e mëposhtme -

[Code]

$ bin / Hadoop

[/Code]

Prodhimi në vijim do të shfaqet -

[Code] Usage: hadoop [–config confdir] KOMANDA

[/Code]

Disa nga opsionet e komandës janë të përmendura më poshtë. Ka opsione të tjera në dispozicion dhe mund të kontrollohet duke përdorur komandën e përmendur më lart.

[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility

[/Code]

Prodhimi i mësipërm tregon se instalimi Standalone është përfunduar me sukses. Tani ju mund të kandidojë shembujt mostër e zgjedhjes suaj duke telefonuar -

[Code] $ bin/hadoop jar hadoop-*-examples.jar <NAME> <Parametra>[/Code]

Pseudo shpërndarë instalimit mënyra: Kjo është një mjedis të simuluar nyje multi bazuar në një server të vetëm nyjen.
Këtu hapi i parë është e nevojshme për të konfiguruar SSH në mënyrë për të hyrë dhe për të menaxhuar nyjet e ndryshme. Kështu ajo është e detyrueshme që të ketë qasje SSH në nyjet e ndryshme. Pasi SSH është konfiguruar, aktivizuar dhe është e arritshme ne duhet të fillojë konfiguruar Hadoop. Dosjet e mëposhtme konfigurimit duhet të modifikohet -

• Conf / core-site.xml
• Conf / hdfs-site.xml
• conf / mapred.xml

Të hapur të gjitha dosjet e konfigurimit në ne editor dhe përditësimin e konfigurimit.

Konfiguro skedarin core-site.xml:

[Code]$ vi conf / core-site.xml[/Code] [Code]<konfiguracion><pronë><emër>fs.default.name</emër><vlerë>hdfs://localhost:9000</vlerë></pronë><pronë><emër>hadoop.tmp.dir</emër><vlerë>/tmp / hadoop- ${user.name}</vlerë></pronë></konfiguracion>[/Code]

Konfiguro skedarin hdfs-site.xml:

[Code]$ vi conf / hdfs-site.xml[/Code] [Code]<konfiguracion><pronë><emër>dfs.replication</emër><vlerë>1</vlerë></pronë></konfiguracion>[/Code]

Konfiguro skedarin mapred.xml:

[Code]$ vi conf / mapred.xml[/Code] [Code]<konfiguracion><pronë><emër>mapred.job.tracker</emër> <vlerë>localhost:9001</vlerë></pronë></konfiguracion>[/Code] Once these changes are done, ne kemi nevojë për format nyjen emrin duke përdorur komandën e mëposhtme. Komanda shpejtë do të tregojë të gjitha mesazhet njëri pas tjetrit dhe mesazh në fund suksesi. [Code]$ bin / Hadoop namenode -format[/Code] Now our setup is done for pseudo distributed node. Le tani të filluar vile nyje duke përdorur komandën e mëposhtme. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Task Tracker[/Code]

Ndalimi i vile nyje: Ne mund të ndaluar vile nyje duke përdorur komandën e mëposhtme. Komanda shpejtë do të shfaq të gjitha proceset e ndaluar.

[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: ndalimin namenodelocalhost tasktrackerstopping: ndalimin datanodelocalhost: ndalimin secondarynamenode[/Code]

Shpërndarë instalimit Mënyra:
Para se të filloni instalimin shpërndarë modalitetit, ne duhet të sigurojë që i kemi pseudo shpërndarë Setup bërë dhe ne kemi të paktën dy makina, një duke vepruar si master dhe një tjetër duke vepruar si skllav. Tani kemi drejtuar komandat e mëposhtme në rend.

· $ bin / stop-all.sh – Sigurohuni që asnjë nga nyjet do të vrapojnë

• Hapni / etc / hosts file dhe shtoni shënimet e mëposhtme për të zotëruar dhe rob –

<ADRESA IP> master

<ADRESA IP> rob

• $ ssh-copy-id $ -i HOME / .ssh / id_rsa.pub rob – Kjo komandë duhet të ekzekutohet zotit të ketë ssh passwordless. Ne duhet të identifikoheni duke përdorur emrin e njëjtë në të gjitha makinat. Nëse ne kemi nevojë për një fjalëkalim, ne mund të vënë atë me dorë.
• Tani kemi hapur dy fotografi – conf / master dhe conf / skllevër. Conf / Master përcakton nyjet emrin e grupimit tonë multi nyjeve. Dosja conf / skllevër listat ushtritë ku Hadoop Slave do të konkurrojnë.
• Edit file Conf / core-site.xml të ketë shënimet e mëposhtme –

<pronë>

<emër>fs.default.name</emër>

<vlerë>hdfs://master:54310</vlerë>

</pronë>

• Edit file Conf / mapred-site.xml të ketë shënimet e mëposhtme –

<pronë>

<emër>mapred.job.tracker</emër>

<vlerë>hdfs://master:54311</vlerë>

</pronë>

• Edit file Conf / hdfs-site.xml të ketë shënimet e mëposhtme –

<pronë>

<emër>dfs.replication</emër>

<vlerë>2</vlerë>

</pronë>

• Edit file Conf / mapred-site.xml të ketë shënimet e mëposhtme –

<pronë>

<emër>mapred.local.dir</emër>

<vlerë>${Hadoop-tmp}/mapred / lokale</vlerë>

</pronë>

<pronë>

<emër>mapred.map.tasks</emër>

<vlerë>50</vlerë>

</pronë>

<pronë>

<emër>mapred.reduce.tasks</emër>

<vlerë>5</vlerë>

</pronë>

Tani fillojnë master duke përdorur komandën e mëposhtme.

[Code] bin / start-dfs.sh [/Code]

Pasi ka filluar, kontrolloni statusin në mjeshtri duke përdorur komandën JPS. Ju duhet të merrni prodhimi e mëposhtme -

[Code]

14799 NameNode

15314 Jps
16977 secondaryNameNode

[/Code]

Në rob prodhimi duhet të tregohet si më poshtë.

[Code]

15183 DataNode
15616 Jps

[/Code]

Tani fillojnë demonët MapReduce duke përdorur komandën e mëposhtme.

[Code]

$ bin / start-mapred.sh

[/Code]

Pasi filloi të kontrolluar statusin për master, duke përdorur komandën JPS. Ju duhet të merrni prodhimi e mëposhtme -

[Code]

16017 Jps

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Code]

Dhe mbi robërit e prodhimit duhet të tregohet si më poshtë.

[Code]

15183 DataNode

15897 TaskTracker
16284 Jps

[/Code]

Summary: Në diskutimin e mësipërm kemi mbuluar mënyra të ndryshme për instalimin Hadoop dhe detajet e tyre teknike. Por ne duhet të jenë të kujdesshëm kur zgjedhjen mënyrën e instalimit. mënyra të ndryshme kanë qëllimin e tyre. Kështu fillestar duhet të fillojë me instalim të vetme mënyrën dhe pastaj do të vazhdojë me opsionet e tjera.
Le të përmbledhim diskutimin tonë me plumba në vijim

• Apache Hadoop mund të instalohet në tre mënyra të ndryshme –
  • nyje Single
  • Pseudo nyje të shpërndara
  • nyje shpërndarë
• Mënyra e vetme është mënyra më e thjeshtë për të instaluar dhe të ketë filluar.
• Nëse ne kemi nevojë për grupe, por kanë vetëm një nyje në dispozicion, atëherë ne duhet të shkoni për mënyrën Pseudo shpërndarë
• Për të instaluar shpërndarë mënyrën që duhet të ketë pseudo shpërndarë mënyra instaluar parë.