Apache Sqoop es una herramienta utilizada para la transferencia de datos desde / al sistema de archivos distribuido Hadoop. Hadoop arquitectura puede procesar grandes volúmenes de datos y almacenarla en HDFS. Pero si queremos utilizar esos datos entonces tenemos que utilizar alguna herramienta para importar / exportar de manera eficiente. Apache Sqoop permite una fácil importación y exportación de datos de almacenes de datos estructurados como bases de datos relacionales, almacenes de datos empresariales, y sistemas NoSQL.
Apache Sqoop es muy importante cuando pensamos en utilizar Hadoop para el análisis y los datos processing.The dos aspectos principales que son dirección Sqoop
un) Carga a granel(producción) datos en Hadoop.
b) Acceso a los datos a granel de map / reduce las aplicaciones que se ejecutan en grandes grupos.
Anteriormente hemos utilizado para escribir / usar scripts para importar / exportar datos entre diferentes systems.But este proceso es ineficiente y no garantiza la consistencia de datos, precisión y otros puntos críticos.
Sqoop utiliza el mecanismo sencillo para transferir conjunto de datos datos.El está dividido en trozos y cada trozo es un job.Now mapa de sólo cada puesto de trabajo en mapas sólo es responsable de la transferencia de una porción del conjunto de datos.
Como hemos discutido, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Hay un subproducto de la process.It importación Sqoop es una clase Java que puede encapsular una fila de la clase importada table.This Java es utilizado por el propio Sqoop durng código fuente process.The importación de este subproducto clase Java .
Una vez procesados los datos importados, que se pueden exportar a cualquier base de datos relacional utilizando Sqoop. Sqoop leerá un conjunto de archivos de texto delimitados de HDFS (en paralelo) y los inserta como nuevas filas a la
objetivo table.Now estos datos están disponibles para el consumtion por las aplicaciones externas.
Sqoop también proporciona algunas utilidades de comandos para obtener información sobre los databaes en que quede lista working.The de esquemas de base, tablas también se pueden ver con Sqoop commands.Sqoop también ofrece primitivo SQL ejecución del shell.
Operaciones de importación como Sqoop,exportar,etc generación de código puede ser la importación customized.For, rangos de filas / columnas pueden ser delimitadores specified.The, caracteres de escape para el archivo de base de representación también pueden ser cambios como por el paquete requirement.The / nombre de la clase del código generado también puede ser personalizado para satisfacer el requisito de aplicación.
Conectores Sqoop son otra parte importante de los tool.Connectors son componentes plugin construido con conectores Sqoop de framework.These de extensión se puede añadir a cualquier instalación Sqoop y entonces los datos pueden ser transferidos entre Hadoop y almacén externo.
Sqoop viene con conectores predeterminados para diferentes bases de datos populares, tales como MySQL, PostgreSQL, Oráculo, SQL Server y DB2.Sqoop también incluye un conector JDBC genérico que se puede usar para conectarse a cualquier base de datos accesible a través de JDBC.
Para concluir esta discusión, podemos decir que Sqoop se puede utilizar para transferir grandes cantidades de datos entre Hadoop y almacenes de datos externo efficiently.Beyond este, Sqoop también ofrece muchas características avanzadas como diferentes formatos de datos,compresión,personalización,trabajar con consultas etc.
