Honezkero, ziur asko, epe datuak big ezagutzen behar duzu. Hala ez bada, big datuak funtsean handiak eta konplexuak datu multzoak estaltzen duen termino bat. big datuak kudeatzeko, motei tradizionalak normalean aipaturiko erabilera baino beste hainbat datu prozesatzeko aplikazio erabiltzea eskatzen bat.
Beraz, zer dira datuak prozesatzeko aplikazio ezberdinak? daude manipulazioa dela eta prozesatzeko big datuak ematen duten hainbat aplikazio bitartean, base esparruan beti izan da Apache Hadoop duten.
Zer da Apache Hadoop?
Hadoop open-source software Javan idatzitako esparru bat da eta bi zati osatzen dute, horrek biltegiratze parte eta bestea datuak prozesatzeko parte izateaz dira. biltegiratze zatia Hadoop fitxategi sistema deritzo (HDFS) eta prozesatzeko parte deritzo MapReduce.
Hemen artikulu honetan, Begirada bat direla Hadoop MapReduce programazio abantaila hartu ahal izango dugu.
MapReduce programazio abantailak
MapReduce programazio abantailak dira -
Scalability
Hadoop gertatzen da oso eskalagarria plataforma bat izan nahi du. Hau da, neurri handi batean, baita datu multzo handiak gordetzeko, baita banatu zerbitzariak askorekin zehar bere gaitasuna. Zerbitzari horiek ekonomikoa izan daiteke, eta, era berean, paraleloan jarduten dute. Also, du zerbitzarien gehituz prozesatzeko boterea bakarrik gehitzen.
ohizko base erlazionalak kudeatzeko sistemak Kontra (RDMS) Hori ezin ordena datu kopuru handi prozesatu ere eskalatzeko, Hadoop MapReduce programazio esker, enpresa-erakundeak dela ere mila datuak Terabyte askotako erabilera suposa nodo kopuru handi bat aplikazio exekutatu.
Kostu-eraginkorra irtenbide
Hadoop en oso eskalagarria egitura ere inplikatzen zehar dator dela oso kostu-eraginkorra negozioak inoiz gordetzeko datuak hazi behar duten irtenbide gisa.
base erlazionalak kudeatzeko sistemak tradizionala kasuan, masiboki kostua prohibitorio graduak Hadoop posible eskalatuko bihurtzen da, besterik datuak prozesatu. Horrela, Negozio askok datu downsize eta gehiago sailkapen ezartzeko oinarritutako datuak nola jakin baliotsuena izan daiteke hipotesi egiten dutela. Prozesuan, Datu gordinak ezabatu beharko dira litzateke, biltegiratze-kostuak izugarriak ekarriko lukete kontuan hartuta. Hau da, funtsean, epe laburrean lehentasunak balio, eta enpresa bat gertatzen bada bere planak aldatzeko nonbait line behera, Datu gordinak multzo osoa geroago erabilera ez dago eskuragarri izango litzateke.
erabat desberdina ohar batean, Hadoop en eskala-out arkitektura, MapReduce programazio batera, biltegiratze eta datuen tratamendua ahalbidetzen oso modu merkean bat ere eta, gainera, geroago garaietan erabilera for. In fact, kostu aurrezki masiboak dira eta kostuak datuen terabyte bakoitzean mila / hamar mila zifrak from ehun zifra murriztu daiteke.
Malgutasuna
Enpresa-elkarteak Hadoop MapReduce programazio erabilera egin ahal hainbat datu-iturri berriak eskuratu ahal izateko eta, era berean, datu-motak eragiketak, egituratutako edo egiturarik dira ala. Hau balioa sortzeko duten horiek dira haien eskura daiteke, datu guztiak ematen dien.
esate baterako, lerro batera, Hadoop laguntza eskaintzen duten datuak prozesatzeko eta biltegiratzeko erabili daiteke hizkuntzetan ugari egiteko. Datu iturria social media dituen adierazten du, email, edo clickstream, MapReduce horien guztien gainean lan egin. Also, Hadoop MapReduce programazio aplikazio asko egiteko aukera ematen du, hala nola, gomendio gisa sistemak, erregistroak izapidetzea, marketing analisia, datuak, iruzurrak detektatzeko gordailu.
Fast
Hadoop banatuak fitxategi sistema bezala ezagutzen biltegiratze-metodoa erabiltzen du, horrek, funtsean, mapping sistema bat datuak kokatzeko kluster batean inplementatzen. datuak prozesatzeko erabilitako tresnak, hala nola MapReduce programazioa, dira ere, oro har, oso zerbitzariak berean dago, bertan datuak prozesatzeko azkarrago egiteko aukera ematen du.
Gertatuko datu bolumen handiak behar aurre Nahiz duten egiturarik da, Hadoop MapReduce hartzen minutu datuak terabytes prozesatu, eta datuen petabytes ordu.
Segurtasuna eta autentifikazioa
Segurtasuna vital edozein aplikazio alderdi bat da. legez kontrako edozein pertsona edo erakunde zure erakundearen datuen petabytes anitz sarbidea izan bada, duzu kalte masiboa egin daiteke enpresa-harremanen eta eragiketa dagokionez.
Zentzu honetan, MapReduce HDFS eta HBase segurtasun aukera ematen duen bakarra onartu erabiltzaile sisteman gordetako datuak funtzionatzeko egiten du lan.
Parallel prozesatzeko
lehen MapReduce programazioaren lan alderdi bat da, zeregin hori banatzen da bere exekuzioa ahalbidetzen duten paraleloan modu batean.
Parallel prozesatzeko onartzen du hainbat prozesadore banatzen zeregin horiek hartu, hala nola, programa osoa exekutatu dutela denbora gutxiago.
Erabilgarritasuna eta elastikoak izaera
Datuak nodo bidaltzen da sare osoan, Datu multzo bera, gainera, sarea osatzen duten beste nodo ugari birbidaliko da. Thus, ez bada edozein porrota nodo bat eragiten da, beti daude beste ale izan daitezke oraindik eskura daitezke, betiere premia sor daitezkeen. Hau beti datuen erabilgarritasuna ziurtatzen.
Hadoop eskaintzen dituen abantaila handienetako bat da bere errua tolerantzia duten. Hadoop MapReduce azkar aitortu gertatzen diren matxurak eta gero azkar eta automatikoak berreskuratzeko irtenbide bat aplikatu gaitasuna du. Horrek Joko changer orduan big datuak prozesatzeko da.
Simple programazio eredua
hainbat abantaila artean dagoela Hadoop MapReduce eskaintza, garrantzitsuenak bat da, hain zuzen, hori da programazio eredu sinple batean oinarritzen dela. Hau funtsean programatzaileak ahalbidetzen duten zereginak kudeatzeko erraztasun eta eraginkortasun gehiagorekin MapReduce programak garatzeko.
MapReduce programak idatz daiteke Java erabiliz, bertan ez da oso gogorra bilketa eta ere erabiltzen da hedatuago hizkuntza bat da. Thus, erraza da jendeak ikasteko eta programak idatzi betetzen dituen datuak prozesatzeko behar adinako.
Ondorioa
Noiz behera dator da datu multzo handiak prozesatzeko, Hadoop en MapReduce programazioa, besteak beste, datu bolumen handiak prozesatzeko aukera ematen du modu erabat segurua eta kostu-eraginkor batean. Hadoop halaber base erlazionalak kudeatzeko sistemak gainditzen denean, datuak klusterrak handiak prozesatzeko da. Finally, enpresa askok dagoeneko konturatu promesa Hadoop dauka eta ezinbestekoa da bere enpresei balio duten egiturarik datuak mantentzen gisa hazi eta hazi egingo da.
