YARN
Baxış: Hadoop versiyası-ci ildən 0.23, MapReduce xeyli dəyişib. İndi kimi tanınır MapReduce 2.0 or YARN. MapReduce 2.0 iki əsas funksiyaları parçalanması konsepsiyasına əsaslanır iş Tracker - resurslarının idarə və iş planlaşdırma ayrı-ayrı daemons daxil.
In this document, I YARN / MapReduce danışacaqlar 2.0 və bu ətraflı təqdim funksiyaları.
Giriş: YARN "Üçün dayanırYet Another Resource Negotiator ". YARN / MapReduce2 Hadoop təqdim olunub 2.0. YARN ayıran qatıdır resurslarının idarə qat və emal komponentləri qat. ehtiyac Map-azaltmaq qat sonra HDFS saxlanılan məlumatların qarşılıqlı model daha geniş array var idi. Aşağıdakı şəkil Hadoop memarlıq diaqram izah 1.0 və Hadoop 2.0 / YARN.
Hadoop 1.0 və 2.0 architecture
Figure 1: Hadoop 1.0 və 2.0 architecture
YARN Map tərəfindən ifa edilmişdir resurslarının idarə vəzifələri qayğı əvvəlki versiyası azaltmaq edir. Bu xəritə data emal öz vəzifəsi qayğı mühərrik azaltmaq imkan verir. YARN qat olan, Bizə ortaq resurslarının idarə qat mübadiləsi Hadoop çox applications çalıştırmak üçün imkan verir.
Iplik Features:
YARN aşağıdakı xüsusiyyətləri verərək Hadoop istifadə klaster kompüter gücünü artırmaq imkanı var -
- miqyaslaşdırma - Iplik əsas diqqət planlaşdırma olduğundan, daha səmərəli bu böyük qruplar idarə edə bilərsiniz. data emal qabiliyyəti sürətlə gedir.
- Mövcud haqda ilə Uyumluluk proqram əsasında azaldır - YARN asanlıqla mövcud prosesində hər hansı bir maneə və ya dəyişiklik olmadan tətbiq azaltmaq konfiqurasiya və mövcud Map çalıştırabilirsiniz.
- Better Cluster istifadə - YARN Resource Manager verilən meyarlar e.g olaraq çoxluq istifadə optimallaşdırır. gücü zəmanət, ədalət, və digər xidmət Level müqavilələr.
- ayrı haqda əlavə iş yükünün üçün Support azaldır - Gələcək proqramlaşdırma modelləri e.g. graph emalı və iterativ modelings indi data emal bir hissəsidir. Bu yeni modellər asanlıqla real vaxt məlumat və digər bazar tendensiyaları həyata keçirmək hər hansı bir təşkilat rəhbərliyi kömək iplik ilə inteqrasiya olunur.
- Agility - YARN bir daha çevik şəkildə resurslarının idarə qat əməliyyat asanlaşdırır.
YARN çərçivəsində Components:
YARN əsas konsepsiyasına əsaslanır -Divide and Rule’. YARN aşağıdakı ayrı-ayrı şəxslər daxil İş Tracker və Task Tracker iki əsas vəzifələri olur -
- Global Resource Manager
- tətbiqi başına Application Master
- node qul başına node Manager
- tətbiqi başına Container Node Manager çalışan.
Necə YARN işləri?
The Resource Manager və Node Manager birlikdə yeni forması, və ümumi, sistem. Bu sistem paylanmış şəkildə proqramları idarə etmək üçün istifadə olunur. The Resource Manager sistem bütün applications arasında resursları nəzarət ali orqanıdır. The Application Master başına tətbiq çərçivə xüsusi şəxs və resursların danışıqlar vəzifəsi tutur Resource Manager və iş Node Manager icra və digər komponent vəzifələri nəzarət etmək üçün.
Resource Manager: Resource Manager bir inbuilt Scheduler var, hansı applications üçün vəsait ayırıb, Belə queue imkanları kimi istifadəçi müəyyən məhdudiyyətlər kimi, istifadəçi limitlər s. Scheduler proqram resurs tələbləri əsasında planlaşdırma vəzifəsini yerinə yetirir. Node Manager başına maşın qul, hansı proqram konteyner başlayıb, onların resurs istifadə nəzarət (CPU, yaddaş, disk, şəbəkə) və Resurs Manager eyni hesabat. Hər Application Master Scheduler müvafiq resurs qablar danışıqlar üçün məsuliyyət daşıyır, onların statusu izleme, və onların tərəqqi monitorinq. baxış sistemi baxımdan, Application Master bütün proqram nəzarət konteyner edir.
Resource Manager YARN iyerarxiya kök düşür. Bu, bütün çoxluq idarə, müəssisə və həmçinin digər resursların proqramları təyin nəzarət. Resource Manager resurslarının e.g bölünməsi qayğı. hesablamaq, yaddaş, bant və s. aşağıdakı bütün Node menecerləri üçün. Resource Manager də Application Masters resursları ayrılması vəzifəsi tutur və Node menecerləri əsas applications nəzarət. Beləliklə Application Master Task Tracker iş edir və Resurs Manager İş Tracker rolu tutur.
Application Master: Application Master hər və iplik ərzində çalışır proqram hər instansiya idarə olunması üçün məsuliyyət daşıyır. Application Master Resource Manager resursların müzakirə edir və, Node Manager istifadə, konteynerlərin e.g icrası və resurs istehlak nəzarət. CPU resurs ayırmaları, yaddaş, və s..
Node Manager: Node Manager YARN çoxluq ərzində hər node idarə olunması üçün məsuliyyət daşıyır. Node Manager çoxluq ərzində hər node xidmətləri göstərir. Bu bir konteyner idarə və onun həyat dövrü monitorinq resursları monitorinq və hər node resurslarının sağlamlıq takip və istifadə saxlanılması qədər xidmət müxtəlif var. Map azaltmaq versiyası fərqli olaraq 1.0, Xəritədə icrasını idarə və slots vasitəsilə vəzifələri azaltmaq üçün istifadə edən, Node Manager mücərrəd qablar idarə, ayırır və xüsusi tətbiqi üçün mövcud node başına resursları təmsil edən. YARN də HDFS qat istifadə, çoxluq arasında təkrar storage xidmətləri üçün metadata xidmətləri və Data node üçün master Adı node ilə.
YARN cluster: hər hansı bir proqram bir müştəri tələbi var zaman YARN çoxluq şəkil gəlir. Resource Manager konteyner üçün zəruri olan resursları üçün danışıqlar başlayır və bir proqram Master çağırır. Bu proqram təqdim olunur ki, təmsil. resurs-tələbi protokolu istifadə edərək,, Application Master hər node tətbiqi üçün resurs qablar üzrə danışıqlar aparır. proqram icra üzərində sonra, Application Master başa qədər konteyner bir saat saxlayır. proqram tamamlandığında, Application Master de Resource Manager qablar qeydə, və sonra dövrü tamamlayır.
MapReduce1 və MapReduce2 arasında fərq / YARN: Bu Hadoop memarlıq əvvəlki versiya yüksək Job Tracker vasitəsilə məhdud idi ki, qeyd etmək vacibdir. Bu Job Tracker çoxluq arasında iş resurslarının idarə edilməsi və planlaşdırma üçün cavabdeh idi. cari YARN memarlıq bütün applications arasında resursların istifadə idarə etmək üçün yeni Resource Manager imkan verir. Application Masters iş icrasını idarə məsuliyyətini alır baxmayaraq. Bu yanaşma əvvəllər mümkün idi daha böyük konfiqurasiya Hadoop qruplar klikləyin qabiliyyətini yaxşılaşdırır. In addition to this, YARN proqramlaşdırma modelləri bir sıra paralel icrası verir. Bu şəklin emal daxildir, iterativ emal, machine learning, və ümumi cluster hesablama.
Iplik köməyi ilə, daha çox kompleks paylanmış applications yarada bilərsiniz.
Summary: MapReduce çərçivəsində böyük data emal ən mühüm hissələrindən biridir. MapReduce əvvəlki versiyası, komponentləri emalı və resurslarının idarə əsas ehtiyaclarını həll etmək üçün nəzərdə tutulmuşdur. bir çox təkmilləşdirilmiş versiyası inkişaf etmişdir ki, sonra MapReduce2 / iplik kimi bilirik, təkmilləşdirilmiş xüsusiyyətləri və funksiyaları təmin.
Bizə güllə aşağıdakı şəklində bizim müzakirə ümumiləşdirmək edək -
- YARN üçün dayanırYet Another Resource Negotiator’.
- YARN Hadoop ilə birlikdə təqdim olunur 2.0.
- YARN aşağıdakı funksiyaları təmin edir -
- Scalability
- Mövcud haqda ilə Uyumluluk proqram əsasında azaltmaq
- Better Cluster istifadəsi
- ayrı Map azaldır əlavə iş yükünün üçün Support
- çeviklik
- aşağıdakı kimi YARN ayrı-ayrı şəxslər daxil İş Tracker və Task Tracker iki əsas vəzifələri olur.
- Global Resource Manager.
- tətbiqi başına Application Master.
- node qul başına node Manager.
- tətbiqi başına Container Node Manager çalışan.
