Apache Sqoop yra įrankis, naudojamas perduoti duomenis iš / į Hadoop Distributed File System. Hadoop architektūra gali tvarkyti BIG duomenis ir laikyti jį HDF. Bet jei mes norite naudoti, kad duomenys tada mes turime naudoti tam tikras įrankis, importuoti / eksportuoti jis efektyviai. Apache Sqoop leidžia lengvai importo ir eksporto duomenis, gautus iš struktūrizuotų duomenų parduotuvių, tokių kaip reliacinėse duomenų bazėse, įmonių duomenų saugyklos, ir NoSQL sistemos.
Apache Sqoop yra labai svarbu, kai mes galvojame apie naudojant Hadoop analitikai ir duomenys perdirbamo du pagrindinius aspektus, kurie Sqoop adresas yra
a) Pakrovimo urmu(gamyba) duomenis į Hadoop.
b) Prieiga prie duomenų visuma iš žemėlapio / sumažinti taikomąsias programas, veikiančias dideles grupes.
Anksčiau mes naudojamas rašyti / naudoti scenarijus, importuoti / eksportuoti duomenis tarp skirtingų systems.But šis procesas yra neefektyvus ir neužtikrina duomenų nuoseklumą, tikslumas ir kitų kritinių taškų.
Sqoop naudoja tiesiai į priekį mechanizmą perduoti data.The visas duomenų rinkinys skilo į gabalėlius ir kiekvienas gabalas yra tik žemėlapį job.Now kiekvienas žemėlapį vienintelis darbas yra atsakingas už pernešti vieną gabaliuką duomenų rinkinys.
Kaip aptarėme, Sqoop gali būti naudojamas importuoti duomenis iš RDBVS į HDFS.The indėlio į importo procesą yra duomenų bazė, stalas ir Sqoop skaito lentelės eilutę pagal eilės į HDFS.The įvesties procesas yra atliekamas lygiagrečiai, todėl rezultatas bus kartotinis files.These produkcija failai gali būti tekstiniai failai ar kito tipo failų, kurių sudėtyje yra serializowany duomenis.
Yra, pagal produkto importo process.It Sqoop yra "Java klasė, kuri gali įdėti į kapsulę vieną eilutę importuojamos table.This Java klasės yra naudojama pati Sqoop durng importo procesą.Europos šaltinio kodą šalutinis produktas Java klasės .
Apdorojus importuotus duomenis, jis gali būti eksportuojami į bet Reliacinė duomenų bazę, naudojant Sqoop. Delimited sqoop skaityti rinkinį iš HDF (lygiagrečiai) ir įdėkite juos kaip naujų eilučių
tikslas table.Now šie duomenys yra consumtion išorinių programų.
"Sqoop taip pat pateikiama keletas komandų komunalinių paslaugų, gauti informaciją apie databaes, dėl kurių ji working.The duomenų bazių schemų sąrašas, lentelės gali būti peržiūrėti naudojant taip pat suteikia Sqoop commands.Sqoop primityvią SQL vykdymo lukštais.
Sqoop operacijos, pavyzdžiui, importo,eksportuoti,kodo generavimas ir tt gali būti customized.For importo, eilės svyruoja / stulpeliai gali būti specified.The skirtukų, Escape failą, kuriame atstovavimo, taip pat gali būti pokyčiai kaip vienam requirement.The pakuotės / klasė sukurtą kodą pavadinimas taip pat gali būti pritaikyti, kad atitiktų taikymo sąlyga.
Kita svarbi Sqoop jungtys yra iš tool.Connectors įskiepiai komponentai,, pastatytas apie Sqoop pratęsimu framework.These jungtys, gali būti įtraukta į bet Sqoop įrengimo ir tada duomenys gali būti perduodami Hadoop ir išorės parduotuvėje.
Sqoop ateina su numatytuosius jungčių įvairių populiarių duomenų bazėmis, tokiomis kaip MySQL, PostgreSQL, Orakulas, SQL Server ir taip pat apima generinių vaistų DB2.Sqoop JDBC jungtis, kuri gali būti naudojama prisijungti prie bet kokios prieinamos duomenų bazės per JDBC.
Sudaryti šią diskusiją, mes galime pasakyti, kad gali būti naudojamas perkelti didelius duomenų rinkinius tarp Hadoop ir išorės duomenų saugyklomis Sqoop efficiently.Beyond tai, Sqoop taip pat siūlo daug pažangių funkcijų, pavyzdžiui, skirtingus duomenų formatus,suspaudimas,pritaikymas,darbo su užklausų ir tt.
