Հիմիկվանից, դուք պետք է, անշուշտ, ծանոթ ժամկետային մեծ տվյալները. Եթե ոչ, Մեծ տվյալները հիմնականում մի տերմին, որը ներառում է մեծ եւ բարդ տվյալների հավաքածուներ. Կարգավորել մեծ տվյալները, մեկը պահանջում օգտագործումը տարբեր տվյալների մշակման դիմումների, այլ է, քան ավանդական տեսակների, որոնք սովորաբար օգտագործման.
Այնպես որ, այն, ինչ ճիշտ են տարբեր տվյալների մշակման դիմումները? Չնայած կան տարբեր ծրագրեր, որոնք թույլ են տալիս, որ բեռնաթափման եւ մշակման մեծ տվյալների, բազային շրջանակը միշտ էլ եղել է, Apache Hadoop.
Ինչ է Apache Hadoop?
Hadoop բաց կոդով ծրագրային ապահովման շրջանակը գրված է Java եւ բաղկացած է երկու մասից, որոնք պահեստավորման մասն է, իսկ մյուսը, լինելով տվյալների մշակման մասը. Պահեստավորման մասը կոչվում է Hadoop Բաշխված ֆայլային համակարգ (HDFS) եւ մշակման մասը կոչվում է MapReduce.
Այստեղ է սույն հոդվածի, մենք պետք take a look մեջ առավելությունների, որոնք առաջարկվում են Hadoop MapReduce ծրագրավորման.
Առավելությունները MapReduce ծրագրավորման
Առավելությունները MapReduce ծրագրավորման են,
Scalability
Hadoop պատահում է մի հարթակ, որը բարձր scalable. Սա հիմնականում այն պատճառով, որ իր կարողության պահել, ինչպես նաեւ տարածել մեծ տվյալների սահմանում ամբողջ շատ սերվերների. Այս սերվերները կարող է լինել էժան, եւ նրանք նաեւ գործում է զուգահեռ. Also, ավելացնելով սերվերների միայն ավելացնում է պրոցեսինգային իշխանության.
Հակառակ ավանդական Հարաբերական տվյալների բազայի կառավարման համակարգեր (RDMS) որոնք չեն կարող լայնածավալ որպեսզի ընթացք հսկայական քանակությամբ տվյալների, Hadoop MapReduce ծրագրավորում թույլ է տալիս բիզնես կազմակերպություններին առաջադրվելու հայտ մի հսկայական շարք հանգույցների, որոնք նաեւ ներգրավել օգտագործումը շատ հազարավոր տերաբայթի տվյալները.
Ծախսերի արդյունավետ լուծում
Hadoop ի բարձր scalable կառուցվածքը նաեւ ենթադրում է, որ այն հանդես է գալիս որպես շատ ծախսերի արդյունավետ լուծում, ձեռնարկությունների համար, որոնք պետք է պահել երբեւէ աճող տվյալները.
Այն դեպքում, երբ ավանդական Հարաբերական տվյալների բազայի կառավարման համակարգեր, այն դառնում է զանգվածաբար արժեքը արգելական լայնածավալ աստիճանների հնարավոր Hadoop, պարզապես մշակել տվյալները. Որպես այդպիսին, շատերը բիզնեսների պետք է downsize տվյալներ եւ հետագա իրականացնել դասակարգումները հիմնված են ենթադրությունների վրա, թե ինչպես որոշ տվյալները կարող են լինել առավել արժեքավոր. Այդ գործընթացում, հում տվյալները պետք է ջնջվել, համարելով, որ նրանք պետք է ներգրավել ահռելի ծախսերը պահեստավորման. Սա, ըստ էության ծառայում կարճաժամկետ առաջնահերթությունները, եւ եթե բիզնես պատահում է փոխել իր ծրագրերը ինչ - որ տեղ ներքեւ գծի, ամբողջական փաթեթը նախնական տվյալների կլինի անհասանելի ավելի ուշ օգտագործման.
Բոլորովին այլ note, Hadoop ի սանդղակ դուրս ճարտարապետություն, հետ միասին MapReduce ծրագրավորման, թույլ է տալիս պահպանման եւ մշակման տվյալների մի շատ մատչելի ձեւով, ինչպես նաեւ օգտագործման հետագա ժամանակներում. In fact, ծախսերի խնայողական են զանգվածային եւ ծախսերը կարող է նվազեցնել ից հազար / տասը հազար գործիչների հարյուր գործիչների յուրաքանչյուր տերաբայթ տվյալների.
ճկունություն
Բիզնես կազմակերպությունները կարող են օգտվել Hadoop MapReduce ծրագրավորման մուտք ունենալ տարբեր նոր աղբյուրների տվյալների, ինչպես նաեւ գործում է տվյալների տեսակները, թե արդյոք նրանք կառուցվածքային կամ չունեցող. Սա թույլ է տալիս նրանց առաջացնում արժեքը բոլոր տվյալները, որոնք կարող են մուտք գործել իրենց կողմից.
Երկայնքով նման գծերի, Hadoop առաջարկում է աջակցություն բազմաթիվ լեզուներով, որոնք կարող են օգտագործվել տվյալների մշակման եւ պահպանման. Անկախ նրանից, թե որ տվյալների աղբյուրը հանդիսանում սոցիալական մեդիա, email, կամ clickstream, MapReduce կարող է աշխատել բոլոր նրանց. Also, Hadoop MapReduce ծրագրավորում թույլ է տալիս բազմաթիվ ծրագրեր, ինչպես, օրինակ, երաշխավորագիր համակարգեր, մշակում տեղեկամատյանները, մարքետինգային վերլուծություն, պահեստավորում տվյալների եւ խարդախության հայտնաբերման.
արագ
Hadoop օգտագործում է պահեստային մեթոդը հայտնի է որպես բաշխված ֆայլային համակարգ, որոնք հիմնականում իրականացնում է արտապատկերման համակարգ տեղադրել տվյալների կլաստերի. Գործիքները համար օգտագործվող տվյալների մշակման, ինչպես, օրինակ, MapReduce ծրագրավորման, են նաեւ, ընդհանուր առմամբ, գտնվում է հենց նույն սերվերներում, որը հնարավորություն է տալիս արագ տվյալների մշակման.
Նույնիսկ եթե դուք պատահել է, որը զբաղվում է խոշոր ծավալների տվյալները, որ չունեցող, Hadoop MapReduce տեւում րոպե է մշակել տերաբայթ տվյալներ, եւ ժամերը petabytes տվյալները.
Անվտանգության եւ Նույնականացման
Security է մի կարեւոր ասպեկտ, ցանկացած դիմումը. Եթե որեւէ ոչ իրավաչափ անձ կամ կազմակերպություն, ունեցել են մուտք դեպի բազմաթիվ petabytes Ձեր կազմակերպության տվյալների, դա կարող է անել ձեզ զանգվածային վնաս առումով բիզնես գործարքներում եւ գործառնությունների.
Այս առումով, MapReduce աշխատում HDFS եւ HBase անվտանգության թույլ է տալիս ոչ միայն հաստատված օգտվողներին գործել տվյալների համակարգում պահվող.
զուգահեռ մշակում
Մեկը հիմնական ասպեկտների աշխատանքային MapReduce ծրագրավորման այն է, որ բաժանում խնդիրները այնպես, որ թույլ է տալիս դրանց կատարման զուգահեռաբար.
Զուգահեռ մշակման թույլ է տալիս մի քանի վերամշակող վերցնել այդ բաժանված առաջադրանքներ, այնպիսին է, որ նրանք վազում ամբողջ ծրագրերը քիչ ժամանակ.
Հասանելիություն եւ տոկուն բնությունը
Երբ տվյալները ուղարկվում է անհատական հանգույց է ողջ ցանցում, նույն փաթեթը տվյալների նույնպես ուղարկվում է բազմաթիվ այլ հանգույցներում, որոնք կազմում են ցանցը. Thus, եթե առկա է որեւէ ձախողում է, որ ազդում է որոշակի հանգույց, կան միշտ այլ պատճեններ, որոնք դեռ կարող է օգտվել, երբ անհրաժեշտություն կարող է առաջանալ. Այս միշտ հավաստիացնում առկայությունը տվյալների.
Մեկը ամենամեծ առավելություններից կողմից առաջարկվող Hadoop է, որ իր մեղքով հանդուրժողականության. Hadoop MapReduce ունի կարողությունը արագ ճանաչելու սխալները, որ տեղի են ունենում, իսկ ապա կիրառվում է արագ եւ ավտոմատ վերականգնման լուծում. Սա ստիպում է մի խաղ չեյնջեր, երբ խոսքը վերաբերում է մեծ տվյալների մշակման.
Պարզ մոդելը ծրագրավորման
Ի թիվս տարբեր առավելություններից, որոնք Hadoop MapReduce առաջարկները, մեկը առավել կարեւորները, որ այն փաստը, որ այն հիմնված է մի պարզ ծրագրավորման մոդելի. Սա, ըստ էության թույլ է տալիս ծրագրավորողներին զարգացնել MapReduce ծրագրեր, որոնք կարող են կարգավորել խնդիրները ավելի անկաշկանդ եւ արդյունավետության.
Ծրագրերը MapReduce կարելի է գրել, օգտագործելով Java, որը հանդիսանում է լեզուն, որ ոչ թե շատ դժվար է պիկապ եւ օգտագործվում է նաեւ լայն տարածում. Thus, դա հեշտ է, որ մարդիկ սովորել եւ գրել ծրագրեր, որոնք համապատասխանում է իրենց տվյալների մշակման կարիք ունի բավականաչափ.
Ամփոփում
Երբ խոսքը վերաբերում է ներքեւ վերամշակման խոշոր տվյալների խմբերից, Hadoop ի MapReduce ծրագրավորման թույլ է տալիս մշակման այնպիսի մեծ ծավալների տվյալները բոլորովին անվտանգ եւ ծախսերի արդյունավետ ձեւով. Hadoop նաեւ triumphs ավելի Հարաբերական բազաների կառավարման համակարգերի, երբ խոսքը վերաբերում է մշակման խոշոր տվյալների կլաստերների. Finally, շատ բիզնեսը արդեն հասկացել է խոստումը, որ Hadoop ունի, եւ դա այն է, հրամայական է, որ դրա արժեքը բիզնեսների կաճի, քանի որ չունեցող տվյալները շարունակում է աճել.
