Qhov kev thov kom ceev cov ntaub ntawv ua ntau heev thiab real-time streaming cov ntaub ntawv ua tshwm tau cov lus teb. Thaum Apache txim yog tseem siv hauv cov koom haum ntau rau ntau cov ntaub ntawv ua, Apache Flink muaj lawm los txog sai raws li lwm txoj kev. qhov tseeb, muaj ntau xav tias nws yuav muaj muab Apache txim vim nws muaj peev xwm txheej txheem tau streaming cov ntaub ntawv ntawm lub sijhawm. tau mas, tus txiav txim rau seb cov Flink tau muab txim mas tseem tawm vim Flink yog tsis tau muab tso rau qhov kev ntsuam xyuas ntau. Tiam sis ua real-time thiab cov latency uas tsis muaj cov ntaub ntawv yog cov yam ntxwv defining ob tug. Tib lub sijhawm, qhov no yuav tsum muab xam tias Apache txim yuav ntshe tsis mus tsis haum vim tias nws cov batch xyuas txog kev peevxwm yuav cov tseem.
Cov nyiaj tau Streaming cov ntaub ntawv ua
Rau tag nrho cov Hearing batch kuas ua, muaj tshwm tau cov ntaub ntawv rau real-time streaming cov ntaub ntawv ua tus muaj zog. Streaming ua cov ntaub ntawv ua taus teeb thiab thauj khoom ib cov ntaub ntawv warehouse sai sai. Ib streaming processor uas lawv yeej tau ntaub ntawv uas tsis muaj latency muab insights ntxiv rau cov ntaub ntawv ceev ceev. Li ntawd, muaj ntau lub sij hawm kom paub seb dab tsi yog yuav ua koj. Ntxiv rau cov ua cuam sai, yog tseem nyiaj lwm qhov: koj muaj sij hawm ntau los tsim tus teb rau cov txheej xwm tsim nyog. Piv txwv, tus nrhiav kom tau anomaly, latency tsawg thiab nrhiav kom tau cuam sai enables koj paub qhov lus teb zoo tshaj plaws uas yog qhov tseem ceeb los tiv thaiv puas mob xws li kev dag tuaj ntawm ib lub website ruaj ntseg lossis muaj tej khoom puas tsuaj. Li ntawd, koj yuav tiv thaiv kev poob.
Apache Flink yog dab tsi?
Apache Flink yog ib lub cuab tam loj ua ntaub ntawv thiab tsis raug mus txheej txheem loj cov ntaub ntawv ceev ceev cov ntaub ntawv uas tsis muaj latency thiab kam rau ua txhaum loj rau lub nruab distributed ntawm ib teev loj. Nws defining feature yog nws muaj peev xwm txheej txheem tau streaming cov ntaub ntawv nyob rau ntawm lub sij hawm.
Apache Flink pib hauj lwm raws li ib txoj kev kawm ntawv qhib tau qhov twg los yog ib qhov thiab tom qab ces, Nws yog hu ua Stratosphere. Tom qab, nws los ua ib feem ntawm qhov Apache Software Foundation incubator. Yuav tsum tsis txhob muaj teeb meem nyob rau hauv lub npe nrog lwm qhov project, lub npe yog hloov mus Flink. Lub npe Flink hu ua tsim nyog vim nws txhais agile. Txawm lub logo xaiv, tus nas yog tsim nyog vim muaj nas nruab nrab yog cov virtues ntawm agility, nimbleness thiab ceev.
Vim nws yog ntxiv rau qhov Apache Software Foundation, nws muaj ib theej ceev sawv ua ib lub cuab tam loj ua ntaub ntawv thiab tsis pub dhau 8 lub hli, nws twb pib ntes cov xim muaj ib cov neeg tuaj saib wider. Neeg cog paj rau hauv Flink muaj reflected coob yog cov attendees nyob rau ib rooj sib tham nyob rau hauv 2015. Ib tug xov tooj ntawm cov neeg kawm lub rooj sab laj ntawm Flink rau cov sablaj Strata nyob rau London hauv ntuj 2015 thiab lub qhov ua siab tshaj Hadoop hauv San Jose nyob rau lub rau hli ntuj, 2015. Ntau tshaj 60 neeg seb qhov Bay Area Apache Flink raws li tu tom lub tsev hauv paus MapR hauv San Jose hosted rau lub yim hli ntuj, 2015.
Daim duab hauv qab no ua kom tus Lambda architecture Flink.
Lambda architecture ntawm Flink
Kev sib piv ntawm cov txim thiab Flink
Txawm yog ob peb zoo sib xws ntawm cov txim thiab Flink, Piv txwv, cov APIs hab Cheebtsam, cov tsis txawv npaum li cas thaum nws tawm mus ua ntaub ntawv. Muab cov hauv qab no yog ib cov sib piv ntawm cov Flink thiab cov txim.
Cov ntaub ntawv ua
Txim xyum cov ntaub ntawv nyob rau hauv hom batch thaum Flink dab streaming cov ntaub ntawv nyob rau ntawm lub sij hawm. Txim dab chunks ntawm cov ntaub ntawv, hu ua RDDs thaum Flink yuav txheem natwm tom qab natwm cov ntaub ntawv nyob rau hauv lub sij hawm ntawm. Li ntawd, Thaum ib lub latency ntaub ntawv yam tsawg kawg yog ib txwm muaj nrog txim, nws tsis yog li cov Flink.
Iterations
Txim txhawb cov iterations hauv cooling tab sis Flink yuav natively iterate nws cov ntaub ntawv uas siv nws cov streaming architecture. Cov duab hauv qab no qhia tau hais tias koj tus xyuas txog kev yuav tau ua dua qhov chaw iterative li cas.
Iterative ua
Nco Management
Flink yuav tau yoog varied datasets tab sis txim tau rau optimize thiab kho nws cov hauj lwm rau ib tug neeg datasets manually. Kuj txim puas kev ceev partitioning thiab caching. Li ntawd, cia siab tias tej kev ncua hauv kev ua.
Cov ntaub ntawv txaus
Yog yuav muab intermediate ntsuam hauv nws cov ntaub ntawv ua thaum twg yuav tsum tau Flink. Thaum cov txim ua raws ib tug txheej txheem kaw lus programming, Flink ua raws ib tug mus kom ze distributed ntaub ntawv txaus. Li ntawd, tav twg intermediate tau yuav tsum yog, tshaj tawm hauv xov zog siv rau mus faib tos paub los soj ntsuam txog rau tag nrho cov neeg ua hauj lwm o.
Cov ntaub ntawv Visualization
Flink muab lub web interface los cia li xa thiab coj tas nrho cov hauj lwm. Txim thiab Flink cov kev nrog Apache Zeppelin thiab muab tej ntaub ntawv noj, cov ntaub ntawv analytics, foundations, tswv yim thiab visualization. Apache Zeppelin kuj muaj tus backend tej lus uas tso cai rau koj los cia li xa thiab coj tau cov kev pab cuam Flink.
Lub sij hawm ua
Cov paragraphs hauv qab no yog muab sib piv ib ntawm lub sij hawm uas coj los ntawm Flink thiab txim hauj lwm txawv.
Ua kom muaj kev sib piv, Flink thiab txim yog ib cov chaw muab kev pab qub rau daim specifications tshuab thiab configurations ntawm.
Configuration ntawm
Raws li muaj nyob rau hauv cov duab saum toj no, cov duab hauv liab highlighted ntawd hais lub tshuab specifications rau ib Flink processor thaum ib tus ntawm ib sab nws qhia tau hais tias lub txim processor.
Raws li muaj nyob rau hauv cov duab saum toj no, lub cheeb tsam highlighted hauv liab ntawd hais rau ntawm configuration rau ib Flink processor thiab lub txim processor.
Processor txim
Tiav sai vim nws tso pipelined Flink. Kom tau ntaub ntawv cov ntaub ntawv, Txim coj 2171 vib nas this thaum muab Flink 1490 vib nas this.
Thaum twg TeraSort muaj ntau ntau thiab tsawg tej ntaub ntawv tau yam, hauv qab no yog cov ntsiab:
- Rau 10 Cov ntaub ntawv GB, Coj Flink 157 cov xis nkoos piv rau lub txim 387 vib nas this.
- Rau 160 Cov ntaub ntawv GB, Coj Flink 3127 cov xis nkoos piv rau lub txim 4927 vib nas this.
Cov ntaub ntawv raws li batch lossis Streaming — txoj kev twg thiaj yog txoj zoo?
Ob leeg muaj dab tau zoo thiab muaj suited rau lub txawv ntau zaus. Tab sis yog ntau thov tias batch kuas cuab yeej no yuav tsis haum, nws tsis yuav tshwm sim sai txhua sij hawm. To taub nws zoo, saib cov nram no sib piv:
| Streaming | Batching |
| Cov ntaub ntawv los sis inputs txog hauv daim ntaub ntawv rau ib theem zuj zus hais. | Cov ntaub ntawv los sis inputs yog faib ua raws li cov ntaub ntawv los yog lub sij hawm cooling. |
| Yog tso zis yuav tsum tau ua sai sai li tau tab sis tsis sooner dua lub sij hawm uas yuav tsum tau los xyuas tus ib theem zuj zus. | Inputs raug muab based rau ntawv, tiam sis paj ntau cooling khaws cia. |
| Rau cov zis yuav tsis tau muab hloov tom qab nws tim. | Ib lub xeev tshiab thiab cov kev tag nrho cov kev natwm ntawm cov zis yuav kaw. |
| Kuj ua tau batch ua cov ntaub ntawv | Yog tsis tau ua cov ntaub ntawv no batch |
Muaj ntau tus zauv hauv yam Flink thiab Batch ua rau lawv. Rooj plaub no siv ntawm xam ntxuag hli muag khoom ntawm txhua hnub. Nyob hauv txoj kev no, dab tsi yuav tsum yog laij tau qhov muag txhua hnub tas nrho thiab ua ib phau zaum. Nyob rau hauv ib cov ntaub ntawv siv li no, streaming ua cov ntaub ntawv no yuav tsis tau. Batch ua cov ntaub ntawv no yuav saib xyuas cov neeg cooling uas muag rau cov nuj nqis raws hnub thiab mam li sau ntxiv. Qhov no, txawm yog hais tias muaj ib co ntaub ntawv latency, uas ib txwm muaj ua tom qab thaum uas mob latent ntaub ntawv teev rau tom cooling.
Muaj cov mob(nurses) siv cov neeg uas yuav tsum tau streaming ua. Rooj plaub no siv hauv kev xam xyuas cov ntxuag hli qauv zoo rau thaum txhua tus qhua nyob ib lub website. Thaum ib lub website, cov ntawv yuav tau tshiab, hourly, minute-WISE los tseem ib hnub. Tab sis qhov teeb meem yog li qhov no yog defining tus qhib. Nws yuav tsis yooj yim rau txhais kom meej uas pib thiab xaus ntawm lub sib kho. Tseem, yog nws tsis yooj yim rau xam los yog taw rau ntu ntawd inactivity. Li ntawd, qhov no, yuav muaj tsis muaj tsim nyog Area rau defining zaug los yog tej ntu ntawd inactivity. Nyob rau lub sijhawm zoo li no, streaming kev ua ntaub ntawv rau ib lub hauv paus ntawm sij hawm yog yuav tsum tau.
Txoj kev
Tab sis yog tus txim muaj txoj kev zoo heev thaum nws los txog rau batch tej ntaub ntawv ua thiab nws tseem muaj ntau tus neeg mob siv nws caters los, nws zoo nkaus li tias Flink yog yoo nkag mus rau hauv tej traction. Tus Disease fact Flink kuj ua tau batch ua rau nkawd tau tus loj loj tshaj plaws nyob rau hauv nws cov haum. tau mas, no xav kom tau accounted rau cov uas batch tus xyuas txog kev peevxwm ntawm Flink yuav tsis muaj nyob rau lwm ib yam li cov txim. Li ntawd, Txim tseem muaj tej lub sij hawm.
