XOV PAJ
Txheej txheem cej luam: Txij hadoop version 0.23, MapReduce tau hloov nws. Nws yog tam sim no hu ua MapReduce 2.0 los sis XOV PAJ. MapReduce 2.0 raws li lub tswvyim ntawm splitting rau ob qho loj functionalities ntawm txoj hauj lwm tracker – fwm thiab txoj hauj lwm teem dua rau lub txawv daemons.
Nyob rau hauv daim ntawv no, Kuv yuav piav txog cov xov PAJ/MapReduce 2.0 thiab cov functionalities uas nws pib nthuav dav.
Taw qhia: XOV PAJ es hais rau"Yli IBnother Resource Negotiator". Xov PAJ/MapReduce2 twb tau nkag tau rau hauv Hadoop 2.0. Xov PAJ yog ib txheej bacteria uas separates cov kev pab tswj txheej thiab cov ua Cheebtsam txheej. Qhov yuav tsum tau yog muaj ib tug array nrug kev sis raug zoo qauv rau cov ntaub ntawv nyob rau hauv cov HDFS uas yog tom qab txheej daim ntawv qhia kom. Cov duab hauv qab no qhia txog daim duab architecture ntawm Hadoop 1.0 thiab Hadoop 2.0/xov PAJ.
Hadoop 1.0 thiab 2.0 architecture
Daim duab 1: Hadoop 1.0 thiab 2.0 architecture
Xov PAJ yuav pab saib xyuas ntawm tus tshwj fwm paub tab uas yuav muaj tau los ntawm daim ntawv qhia rau cov ua ntej lawm version txo. Qhov no pub rau ntawm daim ntawv qhia kom tsis txhob cav los saib xyuas nws cov hauj lwm uas yog xyuas txog tej ntaub ntawv. Muaj xov PAJ txheej, pub peb khiav ntau yam kev siv ntawm sib koom ib qho kev pab tswj txheej Hadoop.
Xov PAJ nta:
Xov PAJ muaj peev xwm yuav txhim khu pawg uas xam siv Hadoop zog yog muab rau cov yam ntxwv hauv qab no –
- Scalability – Vim tus tsom xam thawj cov xov PAJ yog teem dua, nws yuav tswj cov loj loj nyob nraaj ntau. Cov kev muaj peev xwm mus sai.
- Compatibility nrog rau ib daim ntawv qhia kom raws li cov ntaub ntawv – Xov PAJ yuav yooj yim configure thiab kuj muaj ib daim ntawv qhia kom daim ntawv thov uas tsis muaj hindrance los yog cov kev hloov kho nyob rau hauv cov txheej txheem uas twb muaj lawm.
- Zoo sawv siv – Xov PAJ Resource Manager optimizes siv sawv as per tus zauv kev e.g. peev xwm guarantees, ncaaj, thiab lwm yam kev pab raws Agreements.
- Txhawb ntxiv workloads apart from daim ntawv qhia kom – Yavtom ntej programming ua qauv e.g. teeb ua thiab iterative modelings yog cov ib qho ntawm cov ntaub ntawv ua tam sim no. Cov qauv tshiab uas yooj yim kev nrog xov PAJ uas pab nqa nyob hauv txhua lub koom haum kom paub lawv cov ntaub ntawv ntawm lub sijhawm thiab lwm yam lag luam tiam sis.
- Agility – Xov PAJ tswj ntawm txheej kev tswj hauv kev pab ib yam li Agile.
Cheebtsam ntawm lub moj khaum xov PAJ:
Xov PAJ raws taub yooj yim txog – 'Faib thiab txoj cai’. Xov PAJ splits tus ob loj tes num ntawm tracker txoj hauj lwm thiab cov neeg ua hauj lwm tracker rau hauv cov kem chaw hauv qab no –
- Ntiaj teb no kev pab tus nai
- Kev siv daim ntawv thov ib daim ntawv thov
- Tus saib xyuas ntawm ib tug qhev ntawm
- Thawv rau ib daim ntawv thov uas khiav rau tus thawj tswj ntawm.
Cas xov PAJ xwb?
Tus Kev pab tus nai thiab cov Tus thawj tswj ntawm ua ke tsim tus tshiab, thiab cov generic, tsim. No siv uas tswj kev siv caij distributed. Tus Kev pab tus nai yog cai supreme uas controls cov chaw muab kev pab ntawm tag nrho cov kev siv rau lub cev. Tus Daim ntawv thov tswv ib-ntawv yog ib qhov chaw qhia tseeb moj khaum thiab yuav siv sij hawm los ua hauj lwm hauv negotiation cov chaw muab kev pab rau cov Kev pab tus nai thiab ua hauj lwm nrog cov Tus thawj tswj ntawm txim tuag thiab soj ntsuam cov lwm tivthaiv paub tab.
Kev pab tus nai: Qhov kev pab tus nai muaj ib inbuilt Schedule, uas allocates cov chaw muab kev pab rau cov kev siv ciav, as per tus neeg siv txhais xyuas xws li queue Transfer, neeg-txwv thiab lwm yam. Cov schedule tej lub hom phiaj ua hauj lwm cov kev teem dua raws li yuav tsum kev pab ntawm cov kev siv lub. Tus neeg saib xyuas ntawm yog ib-tshuab qhev, launches lub thawv hauv daim ntawv thov uas, tsom kwm cov chaw muab kev qhia pab (cpu, nkiag, disk, Network) thiab ntaub ntawv qhia txog tib yam rau lub chaw muab kev qhia tus nai. Ib daim ntawv thov tswv li negotiating cov kev pab tsim nyog ntim ntawm cov schedule, nrhiav cov txheej xwm, thiab xyuas nruam. Ntawm lub cev thiab pom, cov ntaub ntawv tswv yog cov thawv uas muaj tus tswj hauv daim ntawv thov tag nrho.
Qhov kev pab tus nai ntawm lub hauv paus ntawm txoj xov PAJ hierarchy nta. Qhov no yog qhov chaw uas governs tus sawv tas thiab kuj controls ALJ daim ntaub ntawv ntawm cov kev pab lwm yam. Tus manager saib xyuas kev pab yuav pab saib xyuas kev faib e.g III.. laij, nkiag, bandwidth thiab lwm yam. rau txhua qhov ntawm tswj nram qab no nws. Tus manager saib xyuas qhov chaw Resource kuj yuav siv sij hawm los ua hauj lwm hauv allocating cov chaw muab kev pab rau hauv daim ntawv thov Masters thiab tsom kwm tus lwm daim ntaub ntawv rau tus ntawm tswj. Yog li lub npe tswv yuav siv tau cov hauj lwm ntawm cov neeg ua hauj lwm tracker thiab tus manager saib xyuas kev pab yuav siv tau ntawm txoj hauj lwm Tracker.
Daim ntawv thov tswv: Cov ntaub ntawv tswv yog tswj txhua lom ntawm daim ntaub ntawv uas sau nyob rau hauv cov xov PAJ. Cov ntawv thov tswv yog lub negotiation ntawm cov chaw muab kev pab los ntawm cov chaw muab kev qhia tus thawj tswj thiab, siv tus neeg saib xyuas ntawm, tsom kwm tiav thiab muab noj nqos tau cov thawv e.g. kev pab cov allocations ntawm CPU, nkiag, yam.
Tus thawj tswj ntawm: Yog tus neeg saib xyuas ntawm feem tswj txhua ntawm nyob rau hauv cov xov PAJ sawv. Tus neeg saib xyuas ntawm muab cov kev pab ib-ntawm nyob rau hauv cov pawg. Cov no muaj ntau yam kev pab xws li xyuas cov kev tswj ib lub taub ntim thiab nws lub neej nws mus xyuas qhov chaw muab kev pab thiab kev ua kom ib tug khiav thiab kho thiab kev pab ntawm cov chaw muab kev pab ntawm ib qhov ntawm. In contrast to version uas muaj daim ntawv qhia kom tus 1.0, uas yuav siv los tswj tus tiav ntawm daim ntawv qhia thiab pab kom paub tab ntawm slots, tus neeg saib xyuas ntawm tswj kom paub daws teeb, uas allocates thiab nruab nrab yog cov chaw muab kev pab ib ntawm rau ib qho thov. Xov PAJ kuj siv txheej HDFS, nrog tus npaj lub npe ntawm metadata kev pab thiab cov ntaub ntawv ntawm kev cia replicated pab nyob ib pawg.
Xov PAJ sawv: Xov PAJ sawv tuaj cuag cov duab thaum twg yog thov los ntawm ib tug neeg uas muaj ntaub ntawv. Tus manager saib xyuas qhov chaw Resource pib negotiating rau cov kev pab tsim nyog rau lub thawv thiab invokes ib lub tswv tshiab. Qhov nruab nrab yog tias cov ntaub ntawv no muab xa. Siv ib cov chaw muab kev qhia-thov raws tu qauv, cov ntaub ntawv tswv ntawm cov chaw muab kev qhia ntim rau cov ntaub ntawv ntawm txhua ntawm negotiates. Thaum cov ntaub ntawv tiav lawm, cov ntaub ntawv tswv yuav ib tug saib ntawm lub thawv txog tiav. Thaum ua daim ntawv thov no tag, tus tswv tshiab tsib registers qhov ntim ntawm lub chaw muab kev qhia tus nai, thiab ces lub voj sau.
Qhov txawv ntawm MapReduce1 thiab MapReduce2/xov PAJ: Nws yog ib qho tseem ceeb tias cov version ntawm Hadoop architecture ua ntej lawm yog ib constrained ntawm tus hauj lwm Tracker. Yog no txoj hauj lwm Tracker tswj cov kev pab thiab teem dua cov hauj lwm nyob rau sawv. Cov xov PAJ architecture tam sim no pub rau tus tshiab Resource Manager uas tswj cov kev pab ntawm cov chaw muab kev pab nyob rau txhua daim ntaub ntawv. Thaum tus tshiab Masters siv sijhawm txog lub luag hauj lwm ntawm kev tswj ua cov hauj lwm tiav. Qhov kev pab txoj kev muaj peev xwm yuav teev txog cov Hadoop nyob rau ib ntau uas loj configuration dua yog yav tas los tsis tau. Ntxiv rau qhov no, Xov PAJ no thaum uas tig mus tso hauv ib chav programming ua qauv. Qhov no muaj xws li ua teeb, iterative ua, cov kev kawm tshuab, thiab sawv kev xam.
Nrog kev pab los ntawm cov xov PAJ, peb muaj peev xwm tsim kev siv ntau distributed.
Txoj kev: Moj khaum MapReduce yog ib feem tseem ceeb ntawm ntau cov ntaub ntawv ua. Nyob rau yav version of MapReduce, lub Cheebtsam tau tsim los nyob theem pib kev tu ncua ntawm kev tswj ua thiab cov kev pab. Tom qab ntawd nws muaj evolved rau ib version paub ntau paub ua MapReduce2/xov PAJ, muab qhov nta paub thiab functionalities.
Peb cia saib lub ntsab lug peb sib tham rau hauv daim ntawv uas cia nyias qhov hauv qab no –
- Xov PAJ stands 'Tsis tau ib qho Negotiator’.
- Xov PAJ yog tswvcuab nrog Hadoop 2.0.
- Xov PAJ muaj cov yam ntxwv hauv qab no –
- Scalability
- Compatibility nrog rau ib daim ntawv qhia kom raws li daim ntawv
- Zoo siv sawv
- Txhawb ntxiv workloads apart from daim ntawv qhia kom tsis txhob
- Agility
- Xov PAJ splits tus ob loj tes num ntawm tracker txoj hauj lwm thiab cov neeg ua hauj lwm tracker rau hauv cov chaw cais raws li hais hauv qab no.
- Ntiaj teb no kev pab tus nai.
- Kev siv daim ntawv thov ib daim ntawv thov.
- Tus saib xyuas ntawm ib tug qhev ntawm.
- Thawv rau ib daim ntawv thov uas khiav rau tus thawj tswj ntawm.
