մանվածք
Overview: Քանի որ Hadoop տարբերակին 0.23, MapReduce փոխվել զգալիորեն. Այն այժմ հայտնի է որպես MapReduce 2.0 or մանվածք. MapReduce 2.0 հիմնված է հայեցակարգի պառակտող երկու հիմնական ֆունկցիաները Job Լսել - ռեսուրսների կառավարում իսկ Աշխատանք ներով մեջ առանձին Daemons.
In this document, Ես խոսել Yarn / MapReduce 2.0 եւ ֆունկցիոնալ այն ներկայացնում է մանրամասն.
Ներածություն: մանվածք հանդես է գալիս "իսկիսկ Աnother Resource Negotiator «. Մանվածք / MapReduce2 ներդրվել է Hadoop 2.0. Մանվածք մի շերտ, որը բաժանում է ռեսուրսների կառավարումը շերտը եւ մշակման բաղադրիչները շերտը. Կարիք կար ունենալ ավելի լայն զանգված փոխգործակցության մոդելի համար պահվող տվյալների HDFS որ այն բանից հետո քարտեզային-նվազեցնել շերտ. Հետեւյալ պատկերը բացատրում է ճարտարապետական դիագրաման Hadoop 1.0 եւ Hadoop 2.0 / մանվածք.
Hadoop 1.0 իսկ 2.0 architecture
Figure 1: Hadoop 1.0 իսկ 2.0 architecture
Մանվածք խնամում է ռեսուրսների կառավարման խնդիրների, որոնք կատարվել են քարտեզի կրճատել ավելի վաղ տարբերակով. Սա թույլ է տալիս Քարտեզ նվազեցնել շարժիչը հոգ տանել սեփական խնդիրը, որը մշակման տվյալները. Ունենալով Yarn շերտը, թույլ է տալիս մեզ առաջադրվելու բազմակի դիմումները Hadoop կիսելով ընդհանուր ռեսուրսների կառավարման շերտ.
Առանձնահատկությունները Yarn:
Մանվածք ունի կարողությունը բարձրացնել զորությունը կլաստերի computing օգտագործելով Hadoop տալով հետեւյալ հատկանիշները -
- scalability - Քանի որ առաջնային ուշադրության կենտրոնում մանվածք ներով, այն կարող է կառավարել այդ հսկայական կլաստերների ավելի արդյունավետ. Ունակություն մշակել տվյալների ավելանում արագորեն.
- Համատեղելիությունը առկա քարտեզի Կրճատել հիմնված դիմում - Մանվածք կարող է հեշտությամբ կարգավորել եւ գործարկել առկա քարտեզ Կրճատել դիմումը առանց որեւէ արգելքի կամ ձեւափոխման իրենց առկա գործընթացում.
- Better Կլաստերի օգտագործման - Մանվածք Resource Manager optimizes կլաստերի օգտագործման, ինչպես նաեւ ըստ տվյալ չափանիշների օրինակ. Կարողությունների երաշխիքներ, արդարություն, եւ այլ ծառայության մակարդակի համաձայնագրերը.
- Աջակցություն լրացուցիչ ծանրաբեռնվածության բացի Քարտեզ Նվազեցնել - Գալիք ծրագրավորման մոդելները օրինակ. գրաֆիկի մշակման եւ կրկնվող modelings այժմ մի մասն տվյալների մշակման. Այս նոր մոդելներ, որոնք հեշտությամբ ինտեգրվել Yarn որն օգնում է ավագ կառավարման ցանկացած կազմակերպության իրականացնել իրենց իրական ժամանակի տվյալների եւ այլ շուկայի միտումները.
- շարժունություն - Մանվածք նպաստում շահագործումը ռեսուրսների կառավարման շերտի է ավելի արագաշարժ ձեւով.
Բաղադրիչներ մանվածք շրջանակներում:
Մանվածք հիմնված է հիմնական հայեցակարգի - 'Բաժանիր եւ տիրիր’. Մանվածք splits երկու հիմնական պարտականությունները Աշխատանքի tracker եւ առաջադրանքի բուքսիր մեջ հետեւյալ առանձին անձանց համար -
- Global Resource Manager
- Դիմում Վարպետ մեկ դիմումի
- Node Manager մեկ հանգույցի ստրուկի
- Տարա մեկ դիմումի վազում հանգույց մենեջեր.
Ինչպես մանվածք աշխատանքները?
The Resource Manager եւ Node մենեջեր միասին ձեւավորել նոր, եւ ընդհանուր, համակարգ. Այս համակարգը, որն օգտագործվում է կառավարել դիմումները մի բաշխված ձեւով. The Resource Manager բարձրագույն մարմինը, որը վերահսկում ռեսուրսները շրջանում բոլոր դիմումների համակարգում. The Դիմում Վարպետ Մեկ-հայտի մի շրջանակային հատուկ սուբյեկտ է եւ տեւում է մինչեւ խնդիրը բանակցությունների ռեսուրսների հետ Resource Manager եւ աշխատում է Node մենեջեր է կատարել եւ վերահսկել այլ բաղադրիչ խնդիրները.
Resource Manager: Ռեսուրս Manager ունի inbuilt scheduler, ինչը հատկացնում ռեսուրսներ են հոսող դիմումների, քանի որ ըստ օգտագործողի սահմանված սղության, ինչպիսիք են հերթում կարողությունների, Օգտվողի-սահմանաչափերը այլն. The Scheduler կատարում է իր առջեւ դրված խնդիրը ներով հիման վրա ռեսուրսների պահանջների դիմումների. The Node կառավարիչ է մեկ մեքենայի ստրուկ, որը մեկնարկում է կոնտեյներով դիմումի, վերահսկում դրանց ռեսուրսների օգտագործման (CPU, հիշողություն, սկավառակ, ցանց) եւ հայտնում է նույնը Resource Manager. Յուրաքանչյուր Դիմում Master համար պատասխանատու բանակցում համապատասխան ռեսուրս բեռնարկղերի ից scheduler, հետեւել իրենց կարգավիճակը, եւ մոնիտորինգի իրենց առաջընթացը. Սկսած համակարգի տեսանկյունից, Հայտը Master է կոնտեյներ, որը ունի վերահսկել ամբողջ կիրառման.
Ռեսուրս մենեջեր ընկած է արմատի վրա մանվածքի հիերարխիայի. Սա այն կազմակերպությունն է, որը կառավարում է ամբողջ կլաստերի, ինչպես նաեւ վերահսկում է հանձնարարություն դիմումների մյուս ռեսուրսների. Ռեսուրս մենեջեր խնամում բաժանման ռեսուրսների օրինակ. հաշվել, հիշողություն, թողունակություն, եւ այլն. բոլոր հանգույցի կառավարիչների ստորեւ այն. Ռեսուրս կառավարիչ նաեւ տեւում մինչեւ խնդիրը հատկացնելու ռեսուրսները դիմումի Masters եւ վերահսկում է հիմքում ընկած դիմումները հանգույց կառավարիչների. Այսպիսով, Դիմում Վարպետ տեւում է մինչեւ աշխատանքը աշխատանքային Tracker եւ ռեսուրսային տնօրեն տեւում է մինչեւ դերը Աշխատանքի Tracker.
Դիմում Վարպետ: Դիմումը Master համար պատասխանատու է կառավարման յուրաքանչյուր դեպք դիմումների, որոնք անցնում շրջանակներում Yarn. Դիմումը Վարպետ չի բանակցությունները ռեսուրսների ից ռեսուրսների մենեջեր եւ, օգտագործելով Հանգույցի Manager, վերահսկում է կատարողական եւ ռեսուրսների սպառման բեռնարկղերի օրինակ. ռեսուրսների հատկացումները CPU, հիշողություն, եւ այլն:.
Node մենեջեր: The Node կառավարիչը պատասխանատու է կառավարման յուրաքանչյուր հանգույց ներսում Yarn կլաստերի. The Node տնօրեն տրամադրում ծառայություններից մեկ-հանգույց ներսում կլաստերի. Սրանք շարք ծառայությունների սկսած մոնիտորինգի կառավարման կոնտեյներով եւ իր կյանքի ցիկլի մոնիտորինգի ռեսուրսները եւ պահում է հետեւել առողջության եւ օգտագործման ռեսուրսների յուրաքանչյուր հանգույց. Ի տարբերություն Քարտեզ Կրճատել տարբերակին 1.0, որն օգտագործվում է կառավարել կատարումը քարտեզ եւ նվազեցնել խնդիրները միջոցով slots, հանգույցի տնօրեն ղեկավարում աբստրակտ տարա, ինչը հատկացնում եւ ներկայացնում ռեսուրսները մեկ հանգույցի առկա է տվյալ հայտի. Մանվածք նաեւ օգտագործում է HDFS շերտը, հետ վարպետ Անունը հանգույց համար մետատվյալների ծառայությունների եւ տվյալների հանգույց համար replicated պահեստավորման ծառայությունների ողջ կլաստերի.
մանվածք Կլաստերի: Մանվածք կլաստերի գալիս է պատկերված, երբ կա մի խնդրանք է հաճախորդի ցանկացած դիմումի. Ռեսուրս Manager սկսել է բանակցել համար անհրաժեշտ ռեսուրսների համար կոնտեյներով եւ վկայակոչում է հայտի Master. Սա ներկայացնում է, որ դիմում է ներկայացվել. Օգտագործելով ռեսուրս-հարցման արձանագրությունը, Հայտը Master բանակցում է ռեսուրսների բեռնարկղերի համար դիմումի յուրաքանչյուր հանգույց. Երբ հայտը գնդակահարությունը ավարտվել է, Հայտը Master շարունակում է ժամացույց է կոնտեյներ մինչեւ ավարտի. Երբ դիմում է ավարտվել, Հայտը Վարպետ դե գրանցում բեռնարկղերի են Resource Manager, եւ ապա ցիկլը ավարտում.
Միջեւ տարբերությունը MapReduce1 եւ MapReduce2 / մանվածք: Դա կարեւոր է նշել, որ ավելի վաղ տարբերակը Hadoop ճարտարապետության էր բարձր կաշկանդված միջոցով Աշխատանքի Tracker. Այս Աշխատանք Tracker պատասխանատու էր կառավարման ռեսուրսները եւ պլանավորման աշխատատեղեր ողջ կլաստերի. Ներկայիս մանվածք ճարտարապետությունը թույլ է տալիս նոր Resource Manager կառավարել օգտագործման ռեսուրսների ամբողջ բոլոր դիմումները. Մինչ Դիմում Masters վերցնում պատասխանատվությունը կառավարման աշխատանքի կատարման. Այս մոտեցումը բարելավում կարողությունը սանդղակի մինչեւ Hadoop կլաստերների մի շատ ավելի մեծ կազմաձեւման, քան դա եղել է նախկինում, հնարավոր. In addition to this, Մանվածք թույլ է տալիս զուգահեռ կատարման մի շարք ծրագրավորման մոդելների. Սա ներառում է գրաֆիկի մշակման, iterative մշակման, machine learning, եւ ընդհանրապես Կլաստերի Համակարգչային.
Օգնությամբ մանվածք, մենք կարող ենք ստեղծել ավելի բարդ է բաշխված դիմումները.
Summary: MapReduce շրջանակը մեկն է առավել կարեւոր մասերի մեծ տվյալների մշակման. Ավելի վաղ տարբերակի MapReduce, բաղադրիչները, որոնք նախագծված է դիմել կարիքները մշակման եւ ռեսուրսների կառավարման. Դրանից հետո այն դարձել է շատ բարելավված տարբերակը, գիտենք, թե ինչպես MapReduce2 / Yarn, ապահովելով բարելավված առանձնահատկություններ եւ ֆունկցիոնալ.
Եկեք ամփոփել մեր քննարկում ձեւով հաջորդող փամփուշտներ -
- Մանվածք հանդես է գալիս «Եւս մեկ Resource բանակցող’.
- Մանվածք ներկայացրել միասին Hadoop 2.0.
- Մանվածք տրամադրում է հետեւյալ հատկանիշները -
- Scalability
- Համատեղելիությունը առկա քարտեզի Կրճատել հիմնված դիմումը
- Better Կլաստերի օգտագործման
- Աջակցություն լրացուցիչ ծանրաբեռնվածության, բացի Քարտեզ Կրճատել
- շարժունություն
- Մանվածք splits երկու հիմնական պարտականությունները Աշխատանքի tracker եւ առաջադրանքի բուքսիր մեջ առանձին անձանց, ինչպես նաեւ ստորեւ նշված.
- Global Resource Manager.
- Դիմում Վարպետ մեկ դիմումի.
- Node Manager մեկ հանգույցի ստրուկի.
- Տարա մեկ դիմումի վազում հանգույց մենեջեր.
