TechAlpine – Txog tej Technology

Muaj coob tus neeg muab ntawv loj tsom raws li tej yam uas yuav ua tau xwb los ntawm lub chaw zaum. Raws li cov neeg, loj ua ntaub ntawv thiab tsom xam yuav tsum tau cov txuj ci tshwj xeeb xws li txheeb cais, kev paub thiab kev ua ntej uas yuav khoom los ntawm ib qho ntawm cov neeg. Lub Apache laum yuav muaj hloov lub xaav. Lub Apache laum yog yooj yim thiab straightforward yuav siv thiab yuav luag txhua tus ua ntaub ntawv thiab analyse tej ntaub ntawv uas nws loj. Lub Apache laum tau query ntau leb ntawm kev xyaum thiab unstructured cov kev pab los ntawm ANSI SQL. Tus neeg siv xwb xav siv SQL thiab kev txawj ntse ua lag ua luam (LIS) tuam khiav lub queries cia rau hauv cov ntaub ntawv los ntawm ntau yam. Laum Apache yuav siv rau ntawm laptops thiab yuav tsis muaj los txhais cov lus schema. Muaj tsis muaj tsis ntseeg Apache laum uas muaj nyob hauv nws puas siv tau rau wider pawg neeg ua ntaub ntawv loj analytics.

Apache laum yog dab tsi?

Apache laum yog ib qhib qhov lus nug cav uas muab sib tham sib thiab ruaj ntseg SQL analytics rau ntawm petabytes nplai. Laum yog thawj thiaj muab cov ntaub ntawv querying thiab kawm tuition hauv varied qhov chaw xws li lub NoSQL database los yog cov ntaub ntawv tawm tswv yim sib txuam. Vim lub Apache laum ua raws cov qauv kawm ANSI SQL, yog tsis muaj dag zog yuav tsum tau cov kev kawm tshiab. Txhua yam koj ua tau yog muaj qhov kev kawm los ntawm SQL thiab koj yuav tau pib.

Lub ntsiab ntawm Apache laum uas tseem tsis tau:

• Qhauj tsis tas yuav vam khom ib qho txuj ci pas saib xyuas thiab analyse tej ntaub ntawv. Tus uas twb muaj lawm txuj ci pas dej ua ke thiab cov chaw muab kev pab rau ANSI SQL tau muab ntaub kom tau qhabnias sai. Cov SQL Analysts thiab txawj ntse lag luam neeg ua hauj lwm tau lus nug thiab analyse cov ntaub ntawv ceev ceev thiab qhauj tsis tas yuav vam khom npaj cov ntaub ntawv los ntawm lub tuam tsev NWS tau ntev.
• Lawv IT yuav bypass cov kev pab raws qib nkawm ruaj schema thiab ETL mus lawm thiab tseem muaj tej yooj yooj yim thiab straightforward nrog rau kev pab los ntawm cov mechanisms ntau ntawv uas yooj yim rau deploy.

Siv cov ntaub ntawv

Cov kev siv cov ntaub ntawv hauv qab no piav li cas koj yooj yim siv tau cov ntaub ntawv laum rau cov lus nug thiab analyse tej ntaub ntawv rau koj ua haujlwm.

Peb muaj kev pov plob hais tias yog ib tug loj heev khw muag khoom lub npe T khw muag khoom uas muaj cov chaw ua hauj lwm thiab cov showrooms thoob lub teb chaws. Tag nrho lwm yam tej qhauj zoo ib yam li, T tus nqi muag thiaj li xav zoo lossi nws cov nyiaj thiab profits thiab yuav kom paub, relies heev nws ntawm analytics ntaub ntawv vim tias tus pab nws zoo los nkag siab txog neeg ua nyiam, kev yuav khoom tuaj thiab behaviour vis-à-vis cov khoom siv thiab kev pab. Tam sim no, T khw muag khoom yog launching tus loj kev sib tw kom txhawb thiab muag nws cov khoom uas siv tshiab thiab cov uas twb muaj lawm. Analytics ntawv yuav yog ib qho tseem ceeb uas nws zoo muag. Analytics ntawv yuav pab T khw muag khoom taw tau cov lus hauv qab no:

• Lub sij hawm xyoo promotional tej yam muaj paib soj ntsuam ntau dua.
• Tus yuav mus yuav nws cov khoom regions.

Kom paub tias cov lus qhia saum toj no, T khw muag khoom yuav tsum mus nrhiav kom paub cov ntaub ntawv hauv qab no ua ntej tshaj:

• Lub sab saum toj hlis raws tag nrho cov muag khoom.
• Cov teb chaws sab saum toj los sis regions raws li tag nrho cov muag khoom.
• Cov khoom uas siv sab saum toj raws li tag nrho cov muag khoom.

T tus nqi muag thiaj li yuav siv lub Apache laum ua qhov hauj lwm no thiab tshaj. Kom paub tias cov lus qhia saum toj no, T tus nqi muag thiaj li yuav siv cov lus nram qab no.

Lub npe cov lus: Txiav txim

Yuav pab tsom xam cov ntaub ntawv nrog Apache laum, T tus nqi muag thiaj li muaj offloaded nws cov neeg tej ntaub ntawv ntawm ib qhov system Oracle rau ib rooj tshees uas nyob lub npe ntawm Hadoop sawv.

Raws li koj tau pom, cov lus saum toj no muaj cov nram qab no txhua:

• order_id: Nws identification nab npawb daim tso.
• hli: Qhov kev txiav txim ntawd tso rau lub hli.
• cust_id: Nws kom coob tus neeg muas zaub uas tso rau qhov kev txiav txim.
• cheeb nroog: Lub xeev uas qhov kev txiav txim yog fulfilled.
• prod_id: Nws identification nab npawb qhov khoom muag.
• order_total: Kev txiav txim no neeg thiab khoom pes tsawg.

Tam sim no, Peb cia seb yuav siv cov lus nug los ntawm Apache laum kom paub tias cov lus qhia nram qab no:

Lub sab saum toj hlis raws tag nrho cov muag khoom

QHO 'hli', ZAUM(order_total) raws li kev muag khoom

NTAWM hive.orders

PAWG RAWS 'hli '

Kev txiav TXIM LOS muag desc;

Cov teb chaws sab saum toj los sis regions raws li tag nrho cov muag khoom

QHO 'hli', 'xeev', ZAUM(order_total) raws li kev muag khoom

NTAWM hive.orders

Qhov TWG 'hli '=' May'

PAWG RAWS 'hli ', 'xeev'

Kev txiav TXIM LOS muag desc;

Saum 20 raws li tag nrho cov muag khoom

QHO 'prod_id', ZAUM(order_total) raws li kev muag khoom

NTAWM hive.orders

Pab pawg NEEG LOS 'prod_id'

YUAM KOM UA 2 txhob desc 20;

Li ntawd, lub queries saum toj no yuav muab T khw muag khoom tas cov lus uas nws tau siv nws li cas rau campaigns. Tiam sis lub ntsiab taw tes ntawm no yog tias nws yog ib qho yooj yim uas khiav SQL cov lus nug txog txheej cov ntaub ntawv siv Apache laum.

Saib ceev hauv Apache laum

Qhov no yog li cas Apache laum database raug zoo li.

Apache laum DB

Qhov no yog li cas tus raug cov lus nug uas muaj Apache laum zoo li

Lus nug laum Apache

Ntxiv khoom uas koj yuav tau ua

Yog dhau rau Apache laum xwb querying ntaub ntawv los ntawm ib tug database. Piv txwv, T tus nqi muag thiaj li yuav analyse neeg ntau qhov xaiv thiab tsis tau yuav khoom los ntawm analysing lub website uas mus saib cov qauv. Peb cia pom li cas T tus nqi muag thiaj li yuav ua li no nrog kev pab los ntawm cov Apache laum.

• T khw muag khoom yog siv cov nias uas yuav qhia txog tus clicks lub website qhua rau lub txawv phab. Tus qauv ntawm clicks xws li navigational txawv, cov nplooj ntawv xyuas tau qhia heev txog ib txoj kev xav.
• T khw muag khoom siv J tus TUB los yog cov leb cim quas nruas JavaScript kis cov nias ntaub ntawv ntawm ib daim ntawv thov web thiab ib tug neeg rau zaub mov.
• Cov ntaub ntawv nias yuav sau li ca ntawv nyob hauv cov ntaub ntawv ca. Lub cav ua ntaub ntawv thov koom tes hom lus xws li tus IP chaw nyob, bytes muab, Chaws HTTP, browser hom, thiab thov phab.

Txawm li cas los, kev xwb yuab nrog tus ALJ saum toj no yog tias cov ntaub ntawv sau hom ntawv xyaum ib los unstructured. Qhov no yog qhov twg Apache laum tawm. Nrog laum, koj yuav tau yooj yim lus nug thiab analyse semi structured ntaub ntawv. Lub ntsiab zoo ntawm laum yog:

• Laum muaj peev xwm qhia cov schema uas muaj ntaub ntawv ntawm yoov, txhua sij hawm. Qhov no tso cai rau cov ntaub ntawv analysts rau query cov ntaub ntawv ntawm tej qhov chaw tsis hu ua deductible los ua txhua yam uas txhais schema.
• Analysts cov ntaub ntawv siv tau lub Apache laum query lub Parquet thiab JSON ntaub ntawv nrog kev pab los ntawm tej hom ntawv ANSI SQL, cia li nyiam tus xyaum database.
• Laum Apache muaj ib tug qauv yooj ywm cov ntaub ntawv uas yooj yim rau leej twg yuav muab los lus nug cov ntaub ntawv los ntawm yuav luag txhua yam uas tau qhov twg los.

Txoj kev

Lub ntsiab ntawm nyiaj poob haujlwm los yog kom zoo dua Apache laum yog tias yuav txo tau qhov peev ntawm tsom xam ntaub ntawv loj. Tam sim no, qhauj tsis muaj ib qhov laj thawj los nqis peev pab rau txoj kev siv tshuab lossis tawm kev teev ib txwm saib xyuas thiab analyse tej ntaub ntawv loj. Nrog Apache laum, tsom xam ntaub ntawv loj kuj saib tau neeg coob. No mas, tias Apache laum marks ib sib pib thaum tau cuab yeej ntau dua thiab yees mus ua raws li ce los tsom xam ntaub ntawv loj ua yooj yim npaum li cas. Uas ntawd puas yuav tau ib defining caij hauv lub keeb kwm ntawm cov ntaub ntawv loj.

Muab rau Facebook

Tweet

Cia peb ua raws li peb tau kawm

Tseg