De nun, Vi devas esti certe konata kun la termino granda datumo. Se ne, Granda datumo estas resume termino kiu kovras grandan kaj kompleksan datumon aroj. Pritrakti grandan datumon, Unu postulas la uzon de malsama datumo pretiganta aplikojn alia ol la tradiciaj tipoj kiu estas normale en uzo.
Do kio ĝuste estas la malsama datumo pretiganta aplikojn? Dum estas diversaj aplikoj kiu permesas ke pritraktanta kaj pretiganta de granda datumo, La baza kadro ĉiam estis ke de Apache Hadoop.
Kio estas Apache Hadoop?
Hadoop estas malferma-fonta softvaro kadro skribita en Java kaj konsistas de du partoj, Kiu estas la tenada parto kaj la alia estanta la datumo pretiganta parton. La tenada parto estas vokita la Hadoop Distribuita Dosieran Sistemon (HDFS) Kaj la pretiga parto estas vokita MapReduce.
Ĉi tie en ĉi tiu artikolo, Ni prenos rigardon en la avantaĝoj kiu estas proponita de Hadoop MapReduce programaro.
Avantaĝoj de MapReduce programaro
La avantaĝoj de MapReduce programaro estas –
Scalability
Hadoop okazas esti platformo kiu estas tre scalable. Tio ĉi estas plejparte pro ĝia kapableco enteni tiel kiel distribuas grandajn datumajn arojn trans abundo de serviloj. Ĉi tiuj serviloj povas esti malaltekostaj kaj ili ankaŭ funkcias en paralelo. Ankaŭ, La aldonanta de serviloj nur aldonas la pretigan potencon.
Kontraŭa al la tradicia interrilata datumara administrado sistemoj (RDMS) Kiu povas ne skalon por pretigi grandegajn kvantojn de datumo, Hadoop MapReduce programaro ebligas komercajn organizojn kuri aplikojn de grandega nombro de nodoj kiu ankaŭ okupas la uzadon de multaj mil terabytes de datumo.
Kostefika solvo
Hadoop-a tre scalable strukturo ankaŭ implicas ke ĝi trovas kiel tre kostefika solvo por komercoj kiu devas enteni iam ajn kreskanta datumon.
En la kazo de tradicia interrilata datumaro administradaj sistemoj, Ĝi fariĝas grandege kostita nepageblan grimpi al la gradoj ebla kun Hadoop, Nur pretigi datumon. Kiel tia, Multaj de la komercoj volus devi sveltigi datumon kaj cetere efektivigi klasifikojn bazita sur antaŭsupozoj de kiom certa datumo povus esti plej valora. En la procezo, Kruda datumo volus devi esti forigita, Konsideranta ilin okupus grandegajn kostojn por tenado. Tio ĉi resume servas mallongatempajn prioritatojn, Kaj se komerco okazas ŝanĝi ĝiajn planojn ie malsupren la linio, La kompleta aro de kruda datumo estus malhavebla por pli lasta uzado.
Sur tute malsama noto, la skalo de Hadoop-ekstere arkitekturo, Kune kun MapReduce programaro, Permesas la tenadon kaj pretiganta de datumo en tre malaltekosta maniero kaj ankaŭ por uzado en pli lastaj tempoj. Fakte, La kostaj ŝparmonoj estas masivaj kaj kostoj povas redukti de mil/dek mil ciferoj al cent ciferoj por ĉiu terabyte de datumo.
Fleksebleco
Komercaj organizoj povas fari uzon de Hadoop MapReduce programaro havi aliron al diversaj novaj fontoj de datumo kaj ankaŭ funkcii sur la tipoj de datumo, Ĉu ili estas strukturita aŭ unstructured. Tio ĉi permesas ilin produkti valoron de ĉiuj de la datumo kiu povas esti alirita de ili.
Laŭ tiaj linioj, Hadoop propona subteno por multenombraj lingvoj kiu povas esti uzita por datuma pretigo kaj tenado. Ĉu la datuma fonto estas socia amaskomunikilaro, Retpoŝto, Aŭ clickstream, MapReduce povas labori sur ili ĉiuj. Ankaŭ, Hadoop MapReduce programaro permesas por multaj aplikoj, Kiel rekomendaj sistemoj, Pretiganta de ŝtipoj, Merkatumanta analizon, Staplado de datumo kaj fraŭda malkaŝo.
Rapide
Hadoop uzas tenadan metodon sciita kiel distribuita dosieran sistemon, Kiu resume efektivigas mapadan sistemon troviĝi datumon en grapolo. La iloj uzita por datuma pretigo, Kiel MapReduce programaro, Estas ankaŭ ĝenerale troviĝita en la tre samaj serviloj, Kiu permesas por pli rapida pretigo de datumo.
Eĉ se vi okazas esti traktanta grandajn volumojn de datumo kiu estas unstructured, Hadoop MapReduce prenas minutojn pretigi terabytes de datumo, Kaj horoj por petabytes de datumo.
sekureco kaj Authentication
Sekureco estas nemalhavebla flanko de ajna apliko. Se ajna kontraŭleĝa persono aŭ organizo havis aliron al multobla petabytes de la datumo de via organizo, Ĝi povas fari vin masiva malutilo en terminoj de komerca dealings kaj operacioj.
En ĉi tiu konsidero, MapReduce laboroj kun HDFS kaj HBase sekureco kiu permesas nur aprobita uzantojn funkcii sur datumo entenita en la sistemo.
Paralela pretigo
Unu el la primaraj flankoj de la laboranta de MapReduce programaro estas ke ĝi disigas taskojn en maniero kiu permesas ilian ekzekuton en paralelo.
Paralela pretigo permesas multoblajn procesorojn preni sur ĉi tiuj disigita taskojn, Tia ke ili kuras tutajn programojn en malpli tempo.
havebleco kaj fortika naturo
Kiam datumo estas sendita al individua nodo en la tuta reto, La tre sama aro de datumo estas ankaŭ plusendita al la aliaj multenombraj nodoj kiu faras supre la reton. Tiel, Se estas ajna malsukceso kiu influas apartan nodon, Estas ĉiam aliaj kopioj kiu ankoraŭ povas esti alirita whenever la bezono povas ekestiĝi. Tio ĉi ĉiam certigas la haveblecon de datumo.
Unu el la plej grandaj avantaĝoj proponita de Hadoop estas ke de ĝia misfara toleremo. Hadoop MapReduce havas la kapablecon rapide rekoni misfarojn kiu okazas kaj tiam apliki rapida kaj aŭtomata retrovo solvo. Tio ĉi faras ĝin ludo changer kiam ĝi venas al granda datuma pretigo.
Simpla modelo de programaro
Inter la diversaj avantaĝoj ke Hadoop MapReduce proponoj, Unu la plej grava ones estas ke fakto ke ĝi estas bazita sur simpla programara modelo. Tio ĉi resume permesas programadistojn evoluigi MapReduce programoj kiu povas pritrakti taskojn kun pli da faciliĝo kaj efikeco.
La programoj por MapReduce povas esti skribita uzanta Java, Kiu estas lingvo kiu ne estas tre malfacila al kamioneto kaj estas ankaŭ uzita vastan. Tiel, Ĝi estas facile por homoj lerni kaj skribi programojn kiu renkontas ilian datumon pretiganta bezonojn sufiĉe.
Konkludo
Kiam ĝi venas malsupren la pretigon de grandaj datumaj aroj, MapReduce de Hadoop programaro permesas por la pretigo de tiaj grandaj volumoj de datumo en tute sekura kaj kostefika maniero. Hadoop ankaŭ triumfoj super interrilata datumara administrado sistemoj kiam ĝi venas al la pretigo de grandaj datumaj grapoloj. Fine, Multaj komercoj jam konsciis la promeson ke Hadoop tenadoj kaj ĝi estas imperativa ke ĝia valoro al komercoj kreskos kiel unstructured datumo tenas kreskanta.
