TechAlpine – All About Technology

Baxış: Apache Hadoop tələb kimi müxtəlif rejimi yüklü edilə bilər. Bu müxtəlif rejimi quraşdırılması zamanı yapılandırılmış. qiyabi, Hadoop yüklü Bağımsız mode. digər rejimi var Pseudo paylandı rejimi və paylandı mode. Bu tutorial məqsədi oxucuları ona tabe və öz iş edə bilərsiniz ki, bir sadə şəkildə müxtəlif quraşdırma rejimi izah edir.

In this article, Mən müxtəlif quraşdırma rejimi və onların detalları müzakirə edəcək.

Giriş: Biz bütün Apache Hadoop sadə proqramlaşdırma istifadə edərək müxtəlif qruplar arasında müəyyən məlumatların böyük dəstləri paylanmış emal imkan verir ki, bir açıq mənbə çərçivəsində edir bilirik ki,. Hadoop bir server kompüter minlərlə klikləyin imkanına malikdir. Belə ki, bu şəraitdə Hadoop quraşdırma ən kritik olur. Biz üç müxtəlif rejimi Hadoop quraşdıra bilərsiniz –

• Bağımsız rejimi – Single Node Cluster
• Pseudo payladı rejimi – Single Node Cluster
• Paylanmış rejimi. – Multi Node Cluster

müxtəlif quraşdırma rejimi məqsədi: Apache Hadoop istehsal mühit istifadə edildikdə, Çox server qovşaqlarının paylanmış hesablamalar üçün istifadə olunur. Amma əsasları anlaşma və Hadoop ilə ətrafında oynayan üçün, bir node quraşdırma kifayətdir. kimi tanınan bir rejimi var "Yalançı paylandı’ mode. Bu mod bir server çox node mühit simülasyonu üçün istifadə olunur.

Bu sənəddə biz Ubunto Linux Hadoop yüklemek üçün necə müzakirə edəcək. hər hansı bir rejimi olun, Sistem java version 1.6.x bu yüklü olmalıdır.

Bağımsız rejimi quraşdırma: Now, Bizə aşağıdakı adımları bağımsız rejimi quraşdırılması prosesi yoxlamaq edək.

Java Yükle –
Java (JDK Version 1.6.x) ya Sun / Oracle və ya Open Java tələb olunur.

• Step 1 – yerine mülkiyyət Sun JDK / JRE istifadə OpenJDK keçid edə deyilsə, aşağıdakı funksiyanı istifadə edərək, Canonical Partner Fondu günəş-java6 bərpa.

Qeyd: The Canonical Partner Fondu dəyəri qapalı mənbə üçüncü proqram pulsuz edir. Amma Canonical əvəzinə onlar yalnız paketi və test mənbə kodu çıxışı yoxdur.

istifadə apt depolar canonical tərəfdaş əlavə et –

[Code]

$ sudo əlavə apt-deposu “deb http://archive.canonical.com/lucid tərəfdaş”

[/Code]

• Step 2 – mənbə siyahısını yeniləyin.

[Code]

$ sudo apt-get yeniləmə

[/Code]

• Step 3 – Sun / Oracle JDK version 1.6.x bərpa.

[Code]

$ sudo apt-get install günəş java6-JDK

[/Code]

• Step 4 – JDK quraşdırma üzərində istifadə düzgün quraşdırma əmin olun sonra – Sun / Oracle version 1.6.x.

[Code]

istifadəçi @ ubuntu:~# java -version java version “1.6.0_45” Java(TM) SE Runtime Environment (1.6.0_45-B02 qurmaq) Java HotSpot(TM) Client VM (16.4-B01 qurmaq, mixed mode, sharing)

[/Code]

Hadoop İstifadəçi əlavə et

• Step 5 – digər proqram bu quraşdırma təcrid altında siz sisteminə xüsusi Hadoop unix istifadəçi əlavə et –

[Code]

$ sudo adduser hadoop_admin

[/Code]

Hadoop ikili Download və bərpa

• Step 6 – apache web site Apache Hadoop Download. Hadoop tar-gx format şəklində gəlir. / Usr / local bu ikili surəti / qovluq installables. qovluq – installables bu addımı qarşısında / usr / local altında ilk yaradılmalıdır. İndi sudo aşağıdakı funksiyanı çalıştırmak

[Code]

$ cd /usr/local/installables $ sudo tar xzf Hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / Hadoop-0.20.2

[/Code]

ÇEV dəyişən müəyyən – JAVA_HOME

• Step 7 – Hadoop konfiqurasiya faylını açın (hadoop-env.sh) yeri – /usr / local / installables / Hadoop-0.20.2/conf / hadoop-env.sh və altında JAVA_HOME müəyyən -

[Code] / JDK / / yüklü ixrac JAVA_HOME = path / [/Code]

(e.g. /usr / bin / java)

Single rejimi Installation

• Step 8 – İndi HADOOP_HOME kataloq getmək (Hadoop hasil yer) və aşağıdakı funksiyanı çalıştırın -

[Code]

$ bin / Hadoop

[/Code]

Aşağıdakı çıxış nümayiş olunacaq -

[Code] istifadə: hadoop [–config confdir] COMMAND

[/Code]

COMMAND variantları bəziləri aşağıda qeyd olunur. Başqa variantları mövcuddur və yuxarıda göstərilən funksiyanı istifadə edərək edə bilərsiniz.

[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility

[/Code]

Yuxarıda çıxış Bağımsız quraşdırılması uğurla başa olduğunu göstərir. İndi zəng seçdiyiniz nümunə nümunələri çalıştırabilirsiniz -

[Code] $ bin/hadoop jar hadoop-*-examples.jar <NAME> <Parametreler>[/Code]

Pseudo payladı rejimi quraşdırma: Bu bir node server əsasında süni çox node mühit.
Burada tələb ilk addım çıxış etmək üçün SSH konfiqurasiya və müxtəlif qovşaqlarının idarə edir. Belə ki, müxtəlif qovşaqlarının SSH daxil olmaq üçün məcburi. SSH yapılandırılmış sonra, effektiv və əlçatan biz Hadoop konfiqurasiya başlamaq lazımdır. Aşağıdakı konfiqurasiya faylları redaktə etmək lazımdır -

• conf / core-site.xml
• conf / hdfs-site.xml
• conf / mapred.xml

bütün konfiqurasiya faylları açın biz redaktoru və konfiqurasiya yeniləmək.

core-site.xml fayl konfiqurasiya:

[Code]$ vi conf / core-site.xml[/Code] [Code]<konfiqurasiya><əmlak><ad>fs.default.name</ad><dəyər>hdfs://localhost:9000</dəyər></əmlak><əmlak><ad>hadoop.tmp.dir</ad><dəyər>/tmp / hadoop- ${user.name}</dəyər></əmlak></konfiqurasiya>[/Code]

HDFS-site.xml fayl konfiqurasiya:

[Code]$ vi conf / HDFS-site.xml[/Code] [Code]<konfiqurasiya><əmlak><ad>dfs.replication</ad><dəyər>1</dəyər></əmlak></konfiqurasiya>[/Code]

mapred.xml fayl konfiqurasiya:

[Code]$ vi conf / mapred.xml[/Code] [Code]<konfiqurasiya><əmlak><ad>mapred.job.tracker</ad> <dəyər>localhost:9001</dəyər></əmlak></konfiqurasiya>[/Code] Once these changes are done, biz aşağıdakı funksiyanı istifadə edərək, adı node format lazımdır. skript istemi Bütün mesajlar bir-bir və nəhayət uğur mesaj göstərəcək. [Code]$ bin / Hadoop namenode -format[/Code] Now our setup is done for pseudo distributed node. İndi aşağıdakı funksiyanı istifadə edərək vahid node çoxluq başlamaq edək. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Task Tracker[/Code]

Single node Cluster dayandırılması: Biz aşağıdakı funksiyanı istifadə edərək, vahid node çoxluq dayandıra bilər. skript istemi bütün dayanacaq prosesləri göstərilir.

[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: tasktrackerstopping namenodelocalhost dayandırılması: datanodelocalhost dayandırılması: dayandırılması secondarynamenode[/Code]

Paylanmış rejimi quraşdırma:
biz paylanmış rejimi quraşdırılması başlamaq əvvəl, biz yalançı paylandı quraşdırma görmüşük ki, təmin etməlidir və biz ən azı iki maşın var, bir ustası kimi fəaliyyət göstərən və bir qul kimi fəaliyyət göstərən digər bir. İndi biz ardıcıllıqla aşağıdakı funksiyanı çalıştırmak.

· $ bin / stop-all.sh – qovşaqlarının əmin heç çalışan olun

• / Etc / Host faylı açın və magistr və qul üçün aşağıdakı entries əlavə –

<IP ünvanı> master

<IP ünvanı> qul

• $ ssh-surəti-id i $ HOME / .ssh / id_rsa.pub qul – Bu skript passwordless SSH üçün master icra olunmalıdır. Biz bütün maşın eyni istifadəçi adı istifadə edərək, giriş olmalıdır. biz bir parol lazımdır, biz özünüz bilərsiniz.
• İndi iki faylları açmaq – conf / Master və conf / qul. conf / master Bizim çox node çoxluq adı qovşaqlarının müəyyən. Hadoop Qul çalışan olunacaq conf / qul fayl Host siyahıları.
• aşağıdakı entries üçün conf / core-site.xml fayl Edit –

<əmlak>

<ad>fs.default.name</ad>

<dəyər>hdfs://master:54310</dəyər>

</əmlak>

• aşağıdakı entries üçün conf / mapred-site.xml fayl Edit –

<əmlak>

<ad>mapred.job.tracker</ad>

<dəyər>hdfs://master:54311</dəyər>

</əmlak>

• aşağıdakı entries üçün conf / HDFS-site.xml fayl Edit –

<əmlak>

<ad>dfs.replication</ad>

<dəyər>2</dəyər>

</əmlak>

• aşağıdakı entries üçün conf / mapred-site.xml fayl Edit –

<əmlak>

<ad>mapred.local.dir</ad>

<dəyər>${Hadoop-tmp}/mapred / local</dəyər>

</əmlak>

<əmlak>

<ad>mapred.map.tasks</ad>

<dəyər>50</dəyər>

</əmlak>

<əmlak>

<ad>mapred.reduce.tasks</ad>

<dəyər>5</dəyər>

</əmlak>

İndi aşağıdakı funksiyanı istifadə edərək, master başlamaq.

[Code] bin / start-dfs.sh [/Code]

sonra başladı, JPS komandasindan istifadə edərək, master on durumunu kontrol. Siz aşağıdakı çıxış almaq lazımdır -

[Code]

14799 NameNode

15314 Jps
16977 secondaryNameNode

[/Code]

qul On çıxış aşağıdakı göstərilməlidir.

[Code]

15183 DataNode
15616 Jps

[/Code]

İndi aşağıdakı funksiyanı istifadə edərək, MapReduce daemons başlamaq.

[Code]

$ bin / start-mapred.sh

[/Code]

Bir JPS komandasindan istifadə edərək, usta durumunu kontrol başladı. Siz aşağıdakı çıxış almaq lazımdır -

[Code]

16017 Jps

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Code]

Və qul çıxış aşağıdakı göstərilməlidir.

[Code]

15183 DataNode

15897 TaskTracker
16284 Jps

[/Code]

Summary: Yuxarıda müzakirə, biz müxtəlif Hadoop quraşdırma rejimi və onların texniki detalları əhatə. quraşdırma rejimi seçərkən Amma biz ehtiyatlı olmalıdır. Müxtəlif rejimi öz məqsədi var. Belə ki, yeni başlayanlar tək rejimi quraşdırılması ilə başlamaq lazımdır və sonra digər variantları ilə davam.
aşağıdakı güllə ilə müzakirə yekunlaşdırmaq edək

• Apache Hadoop üç müxtəlif rejimi yüklü edilə bilər –
  • Single node
  • Pseudo payladı node
  • Paylanmış node
• Single rejimi yüklemek üçün və başlamaq sadə yoludur.
• biz qruplar lazımdır, lakin mövcud yalnız bir node varsa,, sonra biz Pseudo payladı rejimi üçün getmək lazımdır
• biz yalançı paylandı rejimi ilk yüklü olmalıdır paylandı rejimi qurmaq üçün.