Apache Sqoop je orodje za prenos podatkov iz / v porazdeljenem sistemu Hadoop datoteke. Hadoop arhitektura lahko obdeluje podatke BIG in ga shranite v HDFS. Toda če želimo uporabiti, da se podatki potem moramo uporabiti nekaj orodje za uvoz / izvoz je učinkovito. Apache Sqoop omogoča enostaven uvoz in izvoz podatkov iz strukturiranih podatkov, kot so trgovine relacijskih podatkovnih baz, podjetij podatkovna skladišča, in NoSQL sistemi.
Apache Sqoop je zelo pomembno, ko razmišljamo o uporabi Hadoop za analitiko in podatki predelave.Samo dveh glavnih vidikov, ki so Sqoop naslov
a) Nalaganje večino(Proizvodnja) podatkov v Hadoop.
b) Dostop do podatkov v razsutem stanju iz zemljevida / zmanjšanje aplikacije izvajajo na velikih skupin.
Prej smo jih uporabili za pisanje / uporaba skripte za uvoz / izvoz podatkov med različnimi systems.But ta proces je neučinkovit in ne zagotavlja skladnosti podatkov, točnost in drugih kritičnih točk.
Sqoop uporablja naravnost naprej mehanizem za prenos data.The celoten nabor podatkov razdelimo na rezine in vsaka rezina je karta samo job.Now vsako zemljevid, edino delo je odgovoren za prenos 1 kos niz podatkov.
Kot smo razpravljali, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Tu je stranski produkt process.It Sqoop uvozne je razred Java, ki lahko zajame eno vrsto uvožene table.This javanskega razreda se uporablja Sqoop sam durng uvoz procesa.Evropski izvorno kodo ta stranski proizvod Java razred .
Po obdelavi uvoženih podatkov, se lahko izvozijo v vse relacijske baze podatkov s pomočjo Sqoop. Sqoop bo prebral niz datotek opredeljenih besedilom iz HDFS (vzporedno) in jih vstavite v novih vrstic
Cilj table.Now ti podatki na voljo za potrošnjo, ki jih zunanjo uporabo.
Sqoop tudi nekaj ukazov pripomočke, da bi dobili informacije o databaes, na katerih je working.The seznam shem baz podatkov, tabele si lahko ogledate tudi s Sqoop commands.Sqoop tudi primitivno SQL izvedbe lupino.
Sqoop dejavnosti, kot uvoz,izvoz,generiranje kode itd lahko customized.For uvoz, vrstice / stolpci območja lahko specified.The ločila, pobeg znakov za datoteko na osnovi predstavitve so lahko tudi spremembe, kot na requirement.The paket / razred ime ustvarila kodo lahko tudi prilagodite aplikacij zahteva.
Sqoop priključki so še en pomemben del tool.Connectors so plugin komponente, zgrajene priključke framework.These Sqoop za podaljšanje se lahko doda kateri koli Sqoop napravo, nato pa podatke lahko prenašajo med Hadoop in zunanjo trgovina.
Sqoop prihaja s privzetimi priključke za različne priljubljenih podatkovnih baz, kot so MySQL, PostgreSQL, Oracle, SQL Server in DB2.Sqoop vključuje tudi splošno JDBC priključek, ki se lahko uporablja za priključitev na katerokoli baze podatkov, dostopne prek JDBC.
Za zaključek te razprave lahko rečemo, da Sqoop se lahko uporablja za prenos velikih podatkovnih nizov med Hadoop in zunanje datastores efficiently.Beyond to, Sqoop ponuja številne napredne funkcije, kot so različne oblike podatkov,stiskanje,Prilagoditev,delo z etc poizvedb.
