fije
Përmbledhje: Që versionin Hadoop 0.23, MapReduce ka ndryshuar në mënyrë të konsiderueshme. Ajo është e njohur tani si MapReduce 2.0 or fije. MapReduce 2.0 është i bazuar në konceptin e ndarjen e dy funksioneve kryesore të tracker punë - Manaxhimi i burimeve dhe caktimin punë në daemons veçanta.
In this document, Unë do të flas për fije / MapReduce 2.0 dhe funksionalitete që paraqet në mënyrë të detajuar.
Parathënie: fije qëndron për "dhedhe Njënother Resource Negotiator ". Fije / MapReduce2 është futur në Hadoop 2.0. Fije është një shtresë që ndan Shtresa e menaxhimit të burimeve dhe përpunimin e komponentëve shtresa. Nevoja ishte që të ketë një rrjet të gjerë të modelit të ndërveprimit për të dhënat e ruajtura në HDFS që është pas Map-reduktuar shtresa. Foto e mëposhtme shpjegon diagramin arkitekturës e Hadoop 1.0 dhe Hadoop 2.0 / fije.
Hadoop 1.0 dhe 2.0 architecture
Figure 1: Hadoop 1.0 dhe 2.0 architecture
Fije merr kujdesin e detyrave të menaxhimit të burimeve të cilat janë kryer nga Harta reduktuar në versionin e mëparshëm. Kjo lejon Harta reduktuar motor të kujdeset për detyrën e vet e cila është e përpunimit të të dhënave. Duke pasur shtresa fije, na lejon për të drejtuar kërkesat e shumta në Hadoop për ndarjen e një shtresë të menaxhimit të burimeve të përbashkëta.
Karakteristikat e fije:
Fije ka aftësinë për të rritur fuqinë e informatikes grumbull përdorur Hadoop duke i dhënë karakteristikat e mëposhtme -
- Shkallëzueshmëria - Që nga fokusi kryesor i fije është planifikimi, ajo mund të menaxhuar këto grupe të mëdha në mënyrë më efikase. Aftësia për përpunimin e të dhënave shkon me shpejtësi.
- Compatibility me hartën ekzistuese Ulja kërkesë bazuar - Fije lehtë mund të konfiguroni dhe të drejtuar hartën ekzistuese Ulja zbatimin pa asnjë pengesë apo modifikim në procesin e tyre ekzistuese.
- Better Cluster Shfrytëzimi - Fije Burimeve Menaxheri optimizon shfrytëzimin grumbull sipas kritereve të dhëna e.g. garancitë e kapacitetit, drejtësi, dhe marrëveshjet e tjera Niveli Shërbimi.
- Mbështetje për Ngarkesat e punës shtesë, përveç nga Harta Ulja - Modelet e ardhshme programimit e.g. përpunimi grafik dhe modelings Përsëritës janë tani një pjesë e përpunimit të të dhënave. Këto modele të reja janë integruar lehtësisht me fije cila ndihmon menaxhmentin e lartë në çdo organizatë për të realizuar të dhënat e tyre në kohë reale dhe trendet e tjera të tregut.
- Shkathtësi - Fije lehtëson funksionimin e shtresës së menaxhimit të burimeve në një mënyrë më të shkathët.
Komponentet e kornizës fije:
Fije është i bazuar në konceptin bazë të - 'Përça dhe Rregulla’. Fije ndan dy përgjegjësitë kryesore të tracker punës dhe detyrave tracker në subjektet e mëposhtme të veçanta -
- Global Burimeve Menaxher
- Master Aplikimi per aplikim
- Nyja Menaxher per rob nyje
- Container per aplikim kandidon për menaxher Node.
Si punon fije?
The Menaxheri i Burimeve dhe nyja Menaxher së bashku formojnë ri, dhe generic, sistem. Ky sistem është përdorur për të menaxhuar aplikacionet në mënyrë të shpërndarë. The Menaxheri i Burimeve është autoriteti më i lartë i cili kontrollon burimet midis të gjithë aplikimeve në sistemin. The Master Aplikim per-aplikim është një entitet kornizë specifike dhe merr detyrën e negociatave të burimeve me të Menaxheri i Burimeve dhe duke punuar me nyja Menaxher për të ekzekutuar dhe për të monitoruar detyrat e tjera përbërëse.
Menaxheri i Burimeve: Menaxheri i Burimeve ka një scheduler inbuilt, e cila alokon burimet për aplikimet running, sipas përdorues përcaktuar kufizimeve të tilla si kapacitete radhë, përdorues kohore etj. Scheduler kryen detyrën e saj për caktimin bazuar në kërkesat e burimeve të aplikacioneve. Nyja Manager është per-makinë rob, i cili nis enë e aplikimit, monitoron përdorimin e tyre të burimeve (CPU, kujtim, disk, rrjet) dhe raportet e njëjta të Menaxherit të Burimeve. Çdo Master Aplikimi është përgjegjës për negocimin e kontejnerëve duhura burimeve nga scheduler, ndjekja e statusit të tyre, dhe monitorimin e progresit të tyre. Nga pikëpamja e sistemit të parë, Mjeshtri Aplikim është enë që ka kontrollin e të gjithë aplikimit.
Menaxheri i Burimeve shtrihet në rrënjë të hierarkisë fije. Ky është subjekti i cili drejton të gjithë grup dhe gjithashtu kontrollon caktimin e kërkesave të burimeve të tjera. Menaxheri i Burimeve kujdeset për ndarjen e burimeve e.g. bëj llogaritje, kujtim, Bandwidth etj. për të gjithë menaxherët nyjen poshtë saj. Menaxheri i Burimeve gjithashtu merr detyrën e shpërndarjes së burimeve për Masters aplikimit dhe monitoron aplikacionet themelore mbi Menaxherët Nyja. Kështu Master Aplikim merr punën e task tracker dhe Menaxheri i Burimeve merr rolin e Punës Tracker.
Master Aplikim: Master Aplikimi është përgjegjëse për menaxhimin e secilit dhe çdo shembull të aplikacioneve e cila shkon në fije. Master Aplikimi bën negocimin e burimeve nga Menaxheri i Burimeve dhe, duke përdorur Node Soccer, monitoron ekzekutimit dhe burimeve konsumin e kontejnerëve e.g. alokimet e burimeve të CPU, kujtim, etj.
nyja Menaxher: Nyja Manager është përgjegjës për menaxhimin e secilit dhe çdo nyje brenda grupimit fije. Nyja Menaxheri ofron shërbime per-nyje brenda grupimit. Këto janë të ndryshme të shërbimeve duke filluar nga monitorimin e menaxhimit të një enë dhe ciklin e tij të jetës për monitorimin e burimeve dhe duke mbajtur një udhë e shëndetit dhe përdorimin e burimeve të çdo nyje. Në kontrast me Map Ulja version 1.0, i cili përdoret për të menaxhuar zbatimin e hartës dhe të reduktuar detyrat nëpërmjet lojëra elektronike, nyja Menaxheri menaxhon kontejnerë abstrakte, i cili ndan dhe paraqet resurse për kokë nyje në dispozicion për një aplikim të veçantë. Fije gjithashtu përdor shtresën HDFS, me mjeshtri Emri Nyja për shërbime të meta të dhënave dhe të dhënave Nyja për shërbimet e magazinimit të përsëriten nëpër një grumbull.
fije cluster: Fije cluster vjen në në foto sa herë që ka një kërkesë nga një klient i çdo aplikim. Menaxheri i Burimeve fillon negociata për burimet e nevojshme për enë dhe thirret një Master Aplikim. Kjo paraqet se kërkesa është dorëzuar. Duke përdorur një protokoll të burimeve-kërkesë, Master Aplikimi negocion mbi kontejnerët e burimeve për aplikimin në çdo nyje. Pasi Ekzekutimi i aplikimit është i gjatë, Master Aplikimi mban një orë në enë deri në përfundimin. Kur kërkesa është e kompletuar, Aplikacioni Master de regjistron kontejnerët nga Menaxheri i Burimeve, dhe pastaj cikli të përfundojë.
Dallimi në mes MapReduce1 dhe MapReduce2 / fije: Është e rëndësishme të theksohet se versioni parë i arkitekturës Hadoop u kufizuar shumë nëpërmjet punës Tracker. Kjo Tracker Jobi ishte përgjegjës për menaxhimin e burimeve dhe caktimin e vendeve të punës në të gjithë grup. Arkitektura aktuale fije lejon Soccer re e Burimeve për të menaxhuar përdorimin e burimeve në të gjitha aplikimet. Ndërsa Aplikimi Masters merr përgjegjësinë e menaxhimit ekzekutimin e punës. Kjo qasje përmirëson aftësinë për të shkallës deri bistakët Hadoop për një konfiguracion shumë më të madh se sa ishte më parë të jetë e mundur. In addition to this, Fije lejon ekzekutimin paralel të një gamë të modeleve të programimit. Kjo përfshin përpunimin grafik, përpunimit përsëritës, machine learning, dhe informatikë përgjithshme grup.
Me ndihmën e fije, ne mund të krijojmë më shumë komplekse të shpërndarë aplikacionet.
Summary: Korniza MapReduce është një nga pjesët më të rëndësishme të përpunimit të madhe të të dhënave. Në versionin më të hershëm të MapReduce, komponentet ishin projektuar për të trajtuar nevojat themelore të përpunimit dhe të burimeve të menaxhimit. Pas kësaj ajo ka evoluar në një version shumë më të përmirësuar di si MapReduce2 / fije, sigurimin e përmirësuar karakteristikat dhe funksionalitete.
Le të përmbledhim diskutimin tonë në formën e mëposhtme plumba -
- Fije qëndron për 'Megjithatë Një tjetër Negociatori Burimeve’.
- Fije është futur së bashku me Hadoop 2.0.
- Fije ofron karakteristikat e mëposhtme -
- Scalability
- Compatibility me hartën ekzistuese Ulja kërkesë të bazuar
- Shfrytëzimi më i mirë Cluster
- Mbështetje për Ngarkesat e punës shtesë pavarësisht nga Harta Ulja
- Shkathtësi
- Fije ndan dy përgjegjësitë kryesore të tracker punës dhe detyrave tracker në entitete të ndara si më poshtë.
- Global Burimeve Menaxher.
- Master Aplikimi per aplikim.
- Nyja Menaxher per rob nyje.
- Container per aplikim kandidon për menaxher Node.
