Apache Sqoop er tæki til að flytja gögn frá / til Hadoop dreift skrá kerfi. Hadoop arkitektúr getum afgreitt BIG gögnum og geyma það í HDFS. En ef við viljum nota þessi gögn þá þurfum við að nota nokkur tól til að innflutningur / útflutningur það duglegur. Apache Sqoop gerir auðvelt innflutning og útflutning á gögnum frá skipulögð gögn birgðir svo sem Vensla gagnagrunna, framtak gögn vöruhús, og NoSQL Systems.
Apache Sqoop er mjög mikilvægt þegar við hugsa um að nota Hadoop fyrir greinandi og gögn processing.The tvo meginþætti sem Sqoop tölu eru
a) Hleð magn(framleiðslu) gögn inn Hadoop.
B) Aðgangur magn gagna af korti / draga forrit í gangi á stórum klösum.
Fyrr við notaður til að skrifa / nota forrit til að flytja inn / flytja gögn á milli mismunandi systems.But þetta ferli er óhagkvæmt og tryggir ekki gögn samræmi, nákvæmni og önnur mikilvæg atriði.
Sqoop notar blátt áfram aðferð til að flytja data.The allt Gagnasett er SPLITTED í sneiðar og hver sneið er kort eingöngu job.Now hvert kort sem aðeins starf er ábyrgur fyrir að flytja eina sneið af gögn-setja.
Eins og við höfum rætt, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Það er aukaafurð innflutningi Sqoop process.It er Java tegund sem getur þjappa eina röð af innfluttum table.This Java bekknum er notað af Sqoop sig durng innflutning process.The kóðann þetta aukaafurð Java flokki .
Eftir úrvinnslu innfluttar gögnum, það er hægt að flytja hvaða Venslagagnagrunnur nota Sqoop. Sqoop mun lesa sett af afmörkuðum texta skrá frá HDFS (samhliða) og setja þá eins og nýr röðum við
miða table.Now þessar upplýsingar liggja fyrir consumtion af utanaðkomandi forrit.
Sqoop veitir einnig nokkur stjórn tólum til að fá upplýsingar um databaes sem er working.The listi schemas gagnagrunninum, töflur er einnig hægt að skoða með Sqoop commands.Sqoop veitir einnig frumstæða SQL framkvæmd skel.
Sqoop starfsemi eins og innflutning,flytja,kóða kynslóð etc má customized.For innflutningur, róður svið / dálka má specified.The delimiters, flýja stafi til skrá undirstaða framsetning getur líka verið breytingar eins og á requirement.The pakka / flokki nafn mynda kóða geta einnig vera aðlaga til að mæta umsókn kröfur.
Sqoop tengin eru annað mikilvægt hluti af tool.Connectors eru tappi hluti byggt á framlengingu Sqoop er framework.These tengi er hægt að bæta við hvaða Sqoop uppsetningu og gögn er hægt að flytja á milli Hadoop og ytri birgðir.
Sqoop koma með tengi sjálfgefið fyrir ýmsum vinsælum gagnagrunna eins og MySQL, PostgreSQL, Véfrétt, SQL Server og DB2.Sqoop felur einnig í sér almenna JDBC tengi sem hægt er að nota til að tengja við hvaða gagnagrunn aðgengileg í gegnum JDBC.
Til að gera þessa umræðu að við getum sagt að Sqoop er hægt að nota til að flytja stór gagnasöfn milli Hadoop og ytri datastores efficiently.Beyond þetta, Sqoop býður einnig margir háþróaður lögun eins og mismunandi gögn snið,þjöppun,customization,vinna við fyrirspurnum o.fl..
