La postulo por pli rapida datuma pretigo estis pliiganta kaj vera-tempo alfluanta datuman pretigon aperas esti la respondo. Dum Apache Fajrero estas ankoraŭ estanta uzita en multaj organizoj por granda datuma pretigo, Apache Flink estis venanta supre rapide kiel alternativo. Fakte, Multaj pensas ke ĝi havas la potencialan anstataŭigi Apache Fajrero pro ĝia kapableco pretigi alfluanta datumon vera tempo. Nature, La ĵurio sur ĉu Flink povas anstataŭigi Fajreron estas ankoraŭ ekstere ĉar Flink estas ankoraŭ esti metita al vastaj testoj. Sed vera-tempa pretigo kaj malalta datumo latency estas du el ĝiaj difinantaj karakterizaĵoj. Samtempe, Tio ĉi devas esti konsiderita ke Apache Fajrero verŝajne ne eliros de favoro ĉar ĝia aro pretiganta kapablojn estos ankoraŭ rilata.
Kazo por Alfluanta Datuman Pretigon
Por ĉiuj la meritoj de aro-bazita pretigo, Tie aperas esti forta kazo por vera-tempo alfluanta datuman pretigon. Alfluanta datuman pretigon faras ĝin ebla instali kaj ŝarĝi datuman staplon rapide. Alfluanta procesoro kiu havas malaltan datumon latency donas pli da enrigardoj sur datumo rapide. Tiel, Vi havas pli da tempo trovi ekstere kion estas daŭriganta. Krom pli rapida pretigo, Estas ankaŭ alia grava utilo: Vi havas pli da tempo desegni konvenan respondon al eventoj. Ekzemple, En la kazo de anomalia malkaŝo, Pli malalta latency kaj pli rapida malkaŝo ebligas vin identigi la plej bonan respondon kiu estas kerna malhelpi difekton en kazoj kiel fraŭdaj atakoj sur sekura retejo aŭ industria ekipaĵa difekto. Tiel, Vi povas malhelpi grandan perdon.
Kio estas Apache Flink?
Apache Flink estas granda datumo pretiganta ilon kaj ĝin estas konata pretigi grandan datumon rapide kun malalta datumo latency kaj alta misfara toleremo sur distribuita sistemojn grandskale. Ĝia difinanta ĉefaĵon estas ĝia kapableco pretigi alfluanta datumon en vera tempo.
Apache Flink komencita de kiel akademia turnira fonta projekto kaj reen tiam, Ĝi estis konata kiel Stratosphere. Poste, Ĝi fariĝis parto de la Apache Softvara Fundamento inkubatoro. Eviti konflikton en nomo kun alia projekto, La nomo estis ŝanĝita al Flink. La nomo Flink estas konvena ĉar ĝi signifas agile. Eĉ la emblemo elektita, squirrel estas konvena ĉar squirrel reprezentas la virtojn de facilmoveco, nimbleness kaj rapido.
Pro tio ke ĝi estis aldonita la Apache Softvara Fundamento, Ĝi havis prefere rapidan altiĝon kiel granda datumo pretiganta ilon kaj ene 8 Monatoj, Ĝi komencis kapti la atenton de pli larĝa spektantaro. Popola kreskanta intereson en Flink estis reflektita en la nombro de ĉeestantoj en nombro de renkontiĝoj en 2015. Nombro de homoj ĉeestis la renkontiĝon sur Flink ĉe la Strata Konferenco en Londono en majo 2015 Kaj la Hadoop Pintokunveno en San Jose en junio, 2015. Pli ol 60 Homoj ĉeestis la Golfetan Areon Apache Flink renkontas-supre gastigita ĉe la MapR sidejo en San Jose en aŭgusto, 2015.
La bildo malsupre donas la Lambda arkitekturo de Flink.
Lambda arkitekturo de Flink
Komparo inter Fajrero kaj Flink
Kvankam estas kelkaj similecoj inter Fajrero kaj Flink, Ekzemple, Ilia APIs kaj eroj, La similecoj ne gravas tre kiam ĝin venas al datuma pretigo. Donita malsupre estas komparo inter Flink kaj Fajrero.
Datuma pretigo
Fajreraj procezoj datumo en ara maniero dum Flink pretigas alfluanta datumon en vera tempo. Fajrero pretigas blokojn de datumo, Sciita kiel RDDs dum Flink povas pretigi disputojn post disputoj de datumo en vera tempo. Tiel, Dum minimuma datumo latency estas ĉiam tie kun Fajrero, Ĝi ne estas sekve kun Flink.
Iterations
Fajreraj subtenoj datumo iterations en aroj sed Flink povas natively iterate ĝia datumo de uzanta ĝian alfluantan arkitekturon. La bildo sub rezultoj kiom iterative pretigo okazas.
Iterative pretigo
Memora Administrado
Flink aŭtomate povas adapti al nekonstanta datasets sed Fajreraj bezonoj optimumigi kaj ŝanĝi ĝiajn laborpostenojn mane al individua datasets. Ankaŭ Fajrero faras manan partitioning kaj caching. Tiel, Atendi iun prokraston en pretigo.
Datuma Fluo
Flink estas kapabla provizi mezajn rezultojn sur ĝia datuma pretigo whenever postulis. Dum Fajrero sekvas proceduran programaran sistemon, Flink sekvas distribuita datuman fluon alproksimiĝo. Tiel, Whenever mezaj rezultoj estas postulita, Elsendo variables estas uzita distribui la pre-intencaj rezultoj tra al ĉiuj la laboristaj nodoj.
Datuma Imagado
Flink provizas araneaĵan fasadon submetiĝi kaj efektivigi ĉiuj laborpostenoj. ambaŭ Fajrero kaj Flink estas integrigita kun Apache Zeppelin kaj provizi datumon ingestion, Datumo analytics, Eltrovo, kunlaboro kaj imagado. Apache Zeppelin ankaŭ provizas multi-lingvo backend kiu permesas vin submetiĝi kaj efektivigi Flink programoj.
Pretiganta Tempon
La alineoj sub provizi komparon inter la tempo prenita de Flink kaj Fajrero en malsamaj laborpostenoj.
Fari justan komparon, Ambaŭ Flink kaj Fajrero estis donita la samajn rimedojn en la formo de maŝinaj specifoj kaj nodaj konfiguracioj.
Noda konfiguracio
Kiel montrita en la bildo sur, La bildo reliefigita en ruĝeco indikas la maŝinajn specifojn por Flink procesoro dum la unu apud ĝi montras ke de Fajrera procesoro.
Kiel montrita en la bildo sur, La areo reliefigita en ruĝeco indikas la nodan konfiguracion por Flink procesoro kaj Fajrera procesoro.
Fajrera procesoro
Flink pretigis pli rapidan pro ĝia pipelined ekzekuto. Pretigi datumon, Fajrero prenis 2171 Sekundoj dum Flink prenis 1490 Sekundoj.
Kiam TeraSort kun diversaj datumaj grandecoj estis elfarita, Sekvanta estis la rezultoj:
- Por 10 GBa datumo, Flink prenis 157 Kunproponas komparita al Fajrero-a 387 Sekundoj.
- Por 160 GBa datumo, Flink prenis 3127 Kunproponas komparita al Fajrero-a 4927 Sekundoj.
Aro-bazita aŭ Alfluanta Datumojn — kiu procezo estas pli bona?
Ambaŭ procezoj havas avantaĝojn kaj estas konvenita por malsamaj situacioj. Kvankam multaj estas asertantaj ke aro-bazitaj iloj estas elirantaj de favoro, Ĝi ne estas iranta okazi anytime baldaŭ. Kompreni iliajn relativajn avantaĝojn, Vidi la sekvantan komparon:
| Alfluanta | Batching |
| datumoj aŭ enigoj alvenas en la formo de rekordoj en specifa sinsekvo. | datumoj aŭ enigoj estas disigita en aroj bazita sur la nombro de rekordoj aŭ tempo. |
| Produktado estas postulita tuj kiam eblas sed ne pli frue ol la tempo kiu estas postulita konfirmi la sinsekvon. | Enigoj estas donita bazitan sur postuloj sed certa nombro de aroj estas retenita. |
| Produktado ne devas esti modifita post kiam ĝi estas skribita. | Nova stato kaj la detaloj de ĉiuj la disputoj de la produktado estas registrita. |
| Ankaŭ povas fari aran pretigon de datumo | Estas nekapabla fari aran pretigon de datumo |
Estas individuaj situacioj en kiu ambaŭ Flink kaj Ara pretigo estas utila. Preni la uzan kazon komputi rulanta ĉiumonatajn vendojn ĉe ĉiutagaj intertempoj. En ĉi tiu aktiveco, Kio estas devita estas komputi la ĉiutagajn vendojn totala kaj tiam fari akumulan sumon. En uza kazo tiel, Alfluanta pretigon de datumo ne povas esti postulita. Ara pretigo de datumo povas prizorgi de la individuaj aroj de vendoj kalkulas bazita sur datoj kaj tiam aldoni ilin. En ĉi tiu kazo, Eĉ se estas kelkaj datumoj latency, Kiu ĉiam povas esti farita supre poste kiam tiu latenta datumo estas aldonita pli lastajn arojn.
Estas simile uzi kazojn kiu postulas alfluanta pretigon. Preni la uzan kazon kalkuli la rulantan ĉiumonatan tempon ĉiu vizitanto elspezas sur retejo. En kazo de retejo, La nombro de vizitoj povas esti ĝisdatigita, Hourly, Eta-saĝa aŭ para tagĵurnalo. Sed la problemo en ĉi tiu kazo estas difinanta la sesion. Ĝi povas esti malfacila difini la komencantan kaj finanta de sesio. Ankaŭ, Ĝi estas malfacila kalkuli aŭ identigi la periodojn de inactivity. Tiel, En ĉi tiu kazo, Tie povas esti ne akcepteblaj limoj por difinanta sesiojn aŭ parajn periodojn de inactivity. En situacioj kiel ĉi tiuj, Alfluanta datuman pretigon sur vera tempa bazo estas postulita.
Resuma
Kvankam Fajrero havas multajn avantaĝojn kiam ĝi venas al ara datumo pretigo kaj ĝi ankoraŭ havas multajn uzajn kazojn ĝi provizas al, Ĝi aperas ke Flink estas rapide akiranta komercan tiradon. La fakto ke Flink ankaŭ povas fari aran pretigon ŝajnas esti grandega afero en ĝia favoro. Nature, Tio ĉi devas esti klarigita por kiu la aro pretiganta kapablojn de Flink ne povas esti en la sama ligo kiel tio de Fajrero. Tiel, Inciti ankoraŭ havas iun tempon.
?
