Apache Sqoop és una eina utilitzada per a la transferència de dades des de / al sistema d'arxius distribuït Hadoop. Hadoop arquitectura pot processar grans volums de dades i emmagatzemar-la en HDFS. Però si volem utilitzar aquestes dades llavors hem d'utilitzar alguna eina per importar / exportar de manera eficient. Apache Sqoop permet una fàcil importació i exportació de dades de magatzems de dades estructurades com bases de dades relacionals, magatzems de dades empresarials, i sistemes NoSQL.
Apache Sqoop és molt important quan pensem en utilitzar Hadoop per a l'anàlisi i les dades processing.The dos aspectes principals que són direcció Sqoop
01:00) Càrrega a granel(producció) dades en Hadoop.
b) Accés a les dades a granel de map / redueix les aplicacions que s'executen en grans grups.
Anteriorment hem utilitzat per escriure / usar scripts per importar / exportar dades entre diferents systems.But aquest procés és ineficient i no garanteix la consistència de dades, precisió i altres punts crítics.
Sqoop utilitza el mecanisme senzill per transferir conjunt de dades dades.El està dividit en trossos i cada tros és un job.Now mapa de només cada lloc de treball en mapes només és responsable de la transferència d'una porció del conjunt de dades.
Com hem discutit, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Hi ha un subproducte de la process.It importació Sqoop és una classe Java que pot encapsular sèrie a la classe importada table.This Java és utilitzat pel propi Sqoop durng codi font process.The importació d'aquest subproducte classe Java .
Un cop processats les dades importats, que es poden exportar a qualsevol base de dades relacional utilitzant Sqoop. Sqoop llegirà un conjunt d'arxius de text delimitats de HDFS (en paral · lel) i els insereix com noves files a la
objectiu table.Now aquestes dades estan disponibles per al consumtion per les aplicacions externes.
Sqoop també proporciona algunes utilitats de comandaments per obtenir informació sobre els databaes en què quedi llista working.The d'esquemes de base, taules també es poden veure amb Sqoop commands.Sqoop també ofereix primitiu SQL execució del shell.
Operacions d'importació com Sqoop,exportar,etc generació de codi pot ser la importació customized.For, rangs de files / columnes poden ser delimitadors specified.The, caràcters d'escapament per l'arxiu de base de representació també poden ser canvis com pel paquet requirement.The / nom de la classe del codi generat també pot ser personalitzat per satisfer el requisit d'aplicació.
Connectors Sqoop són altra part important dels tool.Connectors són components plugin construït amb connectors Sqoop de framework.These d'extensió es pot afegir a qualsevol instal · lació Sqoop i llavors les dades poden ser transferits entre Hadoop i magatzem extern.
Sqoop ve amb connectors predeterminats per diferents bases de dades populars, com ara MySQL, PostgreSQL, Oracle, SQL Server i DB2.Sqoop també inclou un connector JDBC genèric que es pot utilitzar per connectar-se a qualsevol base de dades accessible a través de JDBC.
Per concloure aquesta discussió, podem dir que Sqoop es pot utilitzar per transferir grans quantitats de dades entre Hadoop i magatzems de dades extern efficiently.Beyond aquest, Sqoop també ofereix moltes característiques avançades com diferents formats de dades,compressió,personalització,treballar amb consultes etc.
