Apache Sqoop is een instrument dat wordt gebruikt voor het overbrengen van gegevens van / naar Hadoop Distributed File System. Hadoop architectuur kan verwerken BIG gegevens en bewaar deze op HDFS. Maar als we willen dat de gegevens gebruiken dan moeten we een aantal instrument te gebruiken om te importeren / exporteren het efficiënt. Apache Sqoop maakt een eenvoudige import en export van gegevens uit gestructureerde data winkels, zoals relationele databases, enterprise data warehouses, en NoSQL-systemen.
Apache Sqoop is erg belangrijk als we denken over Hadoop gebruikt voor analyse en data processing.The twee belangrijke aspecten die Sqoop adres zijn
een) Laden bulk(productie) gegevens in Hadoop.
b) Toegang tot bulk gegevens van kaart / verkleinen toepassingen die op grote clusters.
Eerder hebben we gebruikt om te schrijven / scripts te gebruiken om te importeren / exporteren van gegevens tussen de verschillende systems.But dit proces is inefficiënt en niet zorgen voor consistentie van gegevens, nauwkeurigheid en andere kritieke punten.
Sqoop maakt gebruik van recht naar voren mechanisme over te dragen data.The hele dataset wordt gesplitst in plakjes en elke plak is een kaart met alleen job.Now elke kaart-enige taak is verantwoordelijk voor de overdracht van een deel van de data-set.
Zoals we hebben besproken, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Er is een bijproduct van de invoer Sqoop process.It een Java klasse die een rij van de ingevoerde table.This Java klasse kan inkapselen wordt door de Sqoop zelf durng import process.The source code van dit bijproduct Java klasse .
Na verwerking van de geïmporteerde gegevens, het kan worden geëxporteerd naar elke relationele database met behulp van Sqoop. Sqoop leest een set van gescheiden tekstbestanden van HDFS (in parallel) en plaats ze als nieuwe rijen aan de
doel table.Now deze gegevens beschikbaar zijn voor consumtion door de externe toepassingen.
Sqoop biedt ook een aantal commando hulpprogramma's om informatie over de databaes te krijgen waarop het working.The lijst van database schema's, tabellen kunnen ook worden bekeken met behulp van Sqoop commands.Sqoop ook primitieve SQL-uitvoering shell biedt.
Sqoop bewerkingen als invoer,exporteren,code generatie etc kan customized.For invoer worden, rij bereiken / kolommen kan specified.The scheidingstekens, ontsnappen tekens voor bestandsnamen gebaseerde representatie kan ook veranderingen als per de requirement.The pakket / klasse naam van de gegenereerde code kan ook worden aangepast om de toepassing te voldoen.
Sqoop connectoren zijn een ander belangrijk onderdeel van de tool.Connectors zijn plugin-componenten gebouwd op uitbreiding Sqoop's framework.These connectors kunnen worden toegevoegd aan een Sqoop installatie en vervolgens gegevens kunnen worden overgedragen tussen Hadoop en externe opslag.
Sqoop wordt geleverd met standaard connectoren voor verschillende populaire databases zoals MySQL, PostgreSQL, Orakel, SQL Server en DB2.Sqoop bevat ook een generieke JDBC-connector die kan worden gebruikt om verbinding te maken elke database toegankelijk via JDBC.
Om deze discussie slot kunnen we zeggen dat Sqoop kan worden gebruikt om grote datasets tussen Hadoop en externe datastores overdragen efficiently.Beyond deze, Sqoop biedt ook tal van geavanceerde functies, zoals verschillende dataformaten,samendrukking,maatwerk,het werken met query's, enz..
