Apache Sqoop on vahend, mida kasutatakse andmete ülekandmise / et Hadoop hajusfailisüsteemi. Hadoop arhitektuur saab töödelda BIG andmed ja hoidke seda HDFS. Aga kui me tahame kasutada seda andmete siis peame kasutama mõned vahend importida / eksportida seda tõhusalt. Apache Sqoop võimaldab lihtsat impordi ja ekspordi andmeid struktureeritud andmeid kauplustes nagu relaatiotietokannat, ettevõtte andmete laod, ja NoSQL süsteemid.
Apache Sqoop on väga oluline, kui me mõtleme kasutades Hadoop jaoks analüüsi ja andmete processing.The kaks peamist aspekti, mis Sqoop aadress on
a) Laadimine pakkimata(tootmine) andmed Hadoop.
b) Juurdepääs lahtiselt andmeid kaart / vähendada rakendused töötavad suure kobara.
Varem olime harjunud kirjutama / kasutama skriptid importida / eksportida andmeid erinevate süsteemid.Aga see protsess on ebaefektiivne ning ei taga andmete järjepidevus, täpsus ja muud kriitilised kohad.
Sqoop kasutab otse edasi mehhanism kanda data.The kogu andmestik on kahasse viiludeks ja iga tükk on kaardil ainult job.Now iga kaart ainult töö eest vastutab kandes ühe viilu andmete kogum.
Nagu me oleme arutanud, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
On kõrvalsaadus Sqoop impordi process.It on Java klassi, mida saab kapseldada üks rida imporditud table.This Java klassi kasutavad Sqoop ise durng impordi protsessis.Euroopa lähtekoodi see kõrvalsaadus Java klassi .
Pärast töötlemist imporditud andmed, see on võimalik eksportida mis tahes relatsiooniline andmebaas, kasutades Sqoop. Sqoop loeb komplekti piiritletud teksti faile HDFS (paralleelselt) ja lisada neile uusi ridu
eesmärgi table.Now need andmed on saadaval consumtion poolt välised rakendused.
Sqoop ka mingi käsu kommunaalteenuste saada teavet databaes milles on working.The nimekirja andmebaasi skeeme, tabeleid saab vaadata ka kasutades Sqoop commands.Sqoop ka primitiivne SQL täitmise koorega.
Sqoop toimingud nagu impordi,eksportima,kood põlvkonna jne saab customized.For impordi, rida ulatub / kolonnid võivad olla specified.The piirajaid, põgeneda märki failipõhine esindus võib olla ka muudatusi inimese requirement.The pakett / klassi nimi loodud kood võib olla ka kohandatud täita taotluse nõue.
Sqoop pistikud on teine oluline osa tool.Connectors on plugin komponendid ehitatud Sqoop otsad framework.These pistikud saab lisada mis tahes Sqoop paigaldus ja seejärel andmed võib üle Hadoop ja välise kauplus.
Sqoop kaasas vaikimisi ühendused erinevate populaarsete andmebaaside, nagu MySQL, PostgreSQL, Oraakel, SQL Server ja DB2.Sqoop ka geneeriliste JDBC pesa, mida saab kasutada ühendada mis tahes andmebaasis kättesaadavad JDBC.
Lõpetan selle teema juurde, võime öelda, et Sqoop saab kasutada üle suurte andmekogumite vahel Hadoop ja välise datastores efficiently.Beyond see, Sqoop pakub ka mitmeid lisafunktsioone nagu erinevate andmete formaate,kokkusurumine,kohandamine,koostööd päringuid jne.
