Yarn
Orokorra: hadoop bertsioa geroztik 0.23, MapReduce nabarmen aldatu da. Da orain bezala ezagutzen MapReduce 2.0 or Yarn. MapReduce 2.0 bi funtzionalitate nagusiak zatitu kontzeptua oinarrituta lan tracker - baliabideen kudeaketa eta lan planifikazioa daemon aparteko sartu.
In this document, egingo buruzko yarn / MapReduce hitz egin dut 2.0 eta funtzionalitate aurkezten zaiola.
Sarrera: Yarn for "nabarmentzenetaeta Another Resource Negotiator”. Yarn / MapReduce2 egin da sartu Hadoop hasi 2.0. Yarn geruza bat bereizten da baliabideen kudeaketa geruza eta prozesatzeko osagaiak geruza. Beharra zen elkarrekintza eredu sorta zabalago bat da mapa-murrizteko geruza ondoren HDFS gordetako datuen dute. Hurrengo irudian arkitektura Hadoop diagrama azaltzen 1.0 eta Hadoop 2.0 / Yarn.
Hadoop 1.0 eta 2.0 architecture
Figure 1: Hadoop 1.0 eta 2.0 architecture
Yarn hartzen ziren Mapa eginiko baliabideen kudeaketa-lanak zaintzen aurreko bertsioan murrizteko. Honek fitxategiak Map murrizteko motorra zaindu bere zeregin propioa den datuak prozesatzeko. Yarn geruza izatea, ahalbidetzen Hadoop buruzko aplikazio anitz baliabide komunak kudeaketa geruza bat partekatzen exekutatu gurekin.
Yarn Ezaugarriak:
Yarn kluster informatika Hadoop erabiliz honako eginbideak emanez potentzia hobetzeko gaitasuna du -
- eskalagarritasuna - Yarn ardatz nagusia antolatzen da geroztik, klusterrak handi horiek ere modu eraginkorrean kudeatu ahal izango da. datuak prozesatzeko gaitasuna igotzen azkar.
- Dauden Map bateragarritasuna txikitu oinarritutako aplikazio - Yarn erraz konfiguratzeko eta exekutatu Dagoen Mapa murriztea aplikazio edozein eragozpena edo aldaketa dagoen bere prozesuan gabe.
- Hobeto Klusterra erabilera - Yarn Resource Manager kluster erabilera optimizatzen emandako irizpideak adibidez per gisa. ahalmena bermeak, zuzentasuna, eta beste zerbitzu mailako hitzarmenak.
- lan-karga gehigarria gain mapatik laguntza murriztea - Datozen programazio-ereduak adibidez. Grafiko prozesatzeko eta iteratibo modelings dira orain, datuak prozesatzeko zati bat. eredu berriak hauek erraz yarn zein kudeaketa senior laguntzen edozein erakunde euren denbora errealean datuak eta merkatuko joerak konturatzen integratuta.
- Arintasuna - Yarn baliabideen kudeaketa geruza funtzionamendua errazten bat arinago eran.
Yarn esparru osagaiak:
Yarn oinarrizko kontzeptuan oinarritzen da - 'Zatiketa eta Rule’. Yarn bitan Enplegu jarraitzaile eta zeregin tracker honako erakunde bi sartu erantzukizunak nagusiak -
- Global Baliabideen kudeatzailea
- Aplikazioa Master aplikazio bakoitzeko
- Nodoa Manager nodo esklabo bakoitzeko
- Aplikazio per Edukiontzi Node manager exekutatzen.
Nola yarn lanak?
The Baliabideen kudeatzailea eta Nodoa Manager osatzen berria, eta generic, sistema. Sistema honek eran banatu batean aplikazioak kudeatzeko erabiltzen da. The Baliabideen kudeatzailea agintaritza gorena sistemaren aplikazio guztien artean baliabideak kontrolatzen da. The Aplikazioa Master per-aplikazio esparru-partida erakundea da eta zeregin hartzen baliabideen negoziazioaren batera Baliabideen kudeatzailea eta batera lan Nodoa Manager exekutatu eta beste osagai zeregin jarraipena.
Baliabideen kudeatzailea: Baliabideen kudeatzaileak inbuilt scheduler bat du, zein baliabide bideratzen du martxan aplikazioetan, Erabiltzaileak zehaztutako mugak per gisa, hala nola, ilaran gaitasunak gisa, Erabiltzaile-mugak etc. Antolatzaileak bere planifikazioa zeregina oinarritutako baliabide aplikazioak eskakizunen burutzen. Nodoa kudeatzaileak per-makina esklabo da, bertan aplikazioaren edukiontzi bat jarri du martxan, bere baliabide erabilera kontrolatzen (CPU, memoria, diskoan, sarea) eta Baliabideen zuzendariari bera txostenak. Aplikazioa Master bakoitzeko da egokia baliabide edukiontziak negoziazio antolatzaileak arduradun, beraien egoera segimendua, eta haien jarraipena. sistemaren ikuspegitik From, Aplikazioa Master edukiontzi zein aplikazio osoa kontrolpean ditu.
Baliabideen kudeatzaileak yarn hierarkia bera osatzen duen. Hau entitate horrek kluster osoa arautzen da, eta, gainera, beste baliabide aplikazio esleipena kontrolatzen. Baliabideen kudeatzailea arduratzen da baliabide adibidez banaketa. Kalkulu, memoria, banda zabalera etc. bere azpian Node Zuzendariak guztiei. Baliabideen kudeatzailea, halaber hartzen baliabideak Aplikazioa Masters zeregin eta azpiko Node Zuzendariak aplikazio monitorizatzen. Horrela Aplikazioa Master hartzen du zeregin tracker lana eta Baliabideen Manager Job Tracker-rola hartzen du.
Aplikazioa Master: Aplikazioa Master da bata eta aplikazio instantzia bakoitzean zein yarn barruan exekutatzen kudeatzeko ardura. Aplikazioa Master baliabideak negoziazioa egiten Resource Manager batetik eta, Nodoa Manager erabiliz, exekuzioa eta baliabide ontziak adibidez kontsumoa monitorizatzen. baliabide CPU zuzkiduren, memoria, eta abar.
Nodoa Manager: Nodoa kudeatzaileak da bata eta nodo bakoitza kudeatzeko yarn kluster barruan ardura. Nodoa kudeatzaileak per-node zerbitzuak eskaintzen kluster barruan. Hauek edukiontzi baten kudeaketa eta bere bizitza zikloaren jarraipen baliabideak zaintzea, eta osasun-pista bat eta erabilera nodo bakoitzaren baliabideen mantenduz bitarteko barietate daude. Mapa murriztea bertsioa kontrastea 1.0, bertan mapa exekuzioa kudeatu eta slots bidez zereginak murrizteko erabili, Nodoa Manager kontainer abstraktu kudeatzen, horrek bideratzen eta nodo bakoitzeko baliabide aplikazio jakin bat erabilgarri adierazten. Yarn halaber HDFS geruza erabiltzen, maisua izena metadata zerbitzuak eta datuak Node nodo erreplika biltegiratze zerbitzuetarako kluster bat topatu dituzten.
Yarn kluster: Yarn kluster irudian dator betiere edozein aplikazio bezero batetik eskaera bat da. Baliabideen kudeatzailea hasten edukiontzia beharrezko baliabideak negoziatzeko eta Aplikazioa Master bat deituko du. Honek suposatzen du eskaera aurkezten da. baliabide-eskaera protokolo bat erabiliz, Aplikazioa Master baliabide ontziak negoziatzen nodo bakoitzean aplikazioarentzako. Behin aplikazioa exekuzio baino gehiago da, Aplikazioa Master erloju bat mantentzen amaitzean arte edukiontzi. Behin aplikazioa amaitu da, Aplikazio Master de erregistratzen Resource Manager batetik edukiontziak, eta ondoren ziklo osatuko du.
MapReduce1 eta MapReduce2 arteko desberdintasunak / Yarn: Garrantzitsua da lehenago Hadoop arkitektura bertsio oso Enplegu Tracker bidez mugatzen zen. Enplegu Tracker hau zen baliabideak lanpostu kudeatu eta antolatzen multzoan zehar erantzule. Egungo yarn arkitektura Resource Manager berria ahalbidetzen aplikazio guztietan zehar baliabideen erabilera kudeatzeko. Aplikazioa Masters hartzen ari den bitartean lan exekuzioa kudeatzeko ardura. Planteamendu hori eskalatzeko Hadoop mordoak konfigurazio askoz handiagoa den aurrez posible zen baino gaitasuna hobetzen. In addition to this, Yarn programazio modelo sorta baten exekuzioa paraleloan baimentzen. Horretan sartzen grafikoan prozesatzeko, iteratibo prozesatzeko, machine learning, eta cluster computing general.
Yarn laguntzaz, konplexuagoa banatutako aplikazioak sortu ahal izango dugu.
Summary: MapReduce esparru handi datuak prozesatzeko zati garrantzitsuenetako bat da. lehenago MapReduce bertsioan, osagaiak prozesatzeko eta baliabideen kudeaketaren oinarrizko beharrei aurre egiteko diseinatu ziren. du hori askoz bertsio hobetu bat bilakatuz ondoren MapReduce2 / yarn gisa ezagutzen, hobetu ezaugarri eta funtzionalitate eskainiz.
Dezagun gure balak ondorengo formularioa buruzko eztabaida laburbiltzen digu -
- Yarn 'nabarmentzenHala ere, beste baliabide Negoziatzaile’.
- Yarn Hadoop batera sartzen da 2.0.
- Yarn Eginbide hauek eskaintzen -
- Scalability
- Dauden Map bateragarritasuna txikitu oinarritutako aplikazio
- Hobeto Klusterra erabilera
- lan-karga gehigarria gain mapatik murriztea laguntza
- Arintasuna
- Yarn bitan Enplegu jarraitzaile eta zeregin tracker erakunde bi sartu erantzukizunak nagusiak jarraian aipatzen gisa.
- Global Baliabideen kudeatzailea.
- Aplikazioa Master aplikazio bakoitzeko.
- Nodoa Manager nodo esklabo bakoitzeko.
- Aplikazio per Edukiontzi Node manager exekutatzen.
