Apache Sqoop ist ein Werkzeug zum Übertragen von Daten von / zu Hadoop verteiltes Dateisystem verwendet. Hadoop-Architektur verarbeiten kann BIG Daten und speichern sie in HDFS. Aber wenn wir diese Daten verwenden wollen, dann müssen wir ein paar Tool zu importieren / exportieren sie effizient. Apache Sqoop ermöglicht den einfachen Import und Export von Daten aus strukturierten Daten speichert wie relationale Datenbanken, Enterprise Data Warehouses, und NoSQL-Systeme.
Apache Sqoop ist sehr wichtig, wenn wir darüber nachdenken, mit Hadoop für Analytik und Daten processing.The zwei wesentliche Aspekte, die Sqoop Adresse sind
ein) Lädt bulk(Produktion) Daten in Hadoop.
b) Zugriff auf Massendaten von Map / Reduce-Anwendungen auf großen Clustern.
Früher haben wir zum Schreiben / Skripte zum Importieren / Exportieren von Daten zwischen verschiedenen systems.But dieser Prozess ist ineffizient und gewährleistet nicht die Konsistenz der Daten, Genauigkeit und anderen kritischen Punkten.
Sqoop verwendet straight forward-Mechanismus zu übertragen Daten.Die gesamten Datenbestand in Scheiben wird geteilt und jede Scheibe ist eine Karte nur job.Now jede Karte nur Job ist verantwortlich für die Übertragung eine Scheibe der Daten-Set.
Wie wir besprochen haben, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Es ist ein Nebenprodukt der Sqoop Import process.It ist eine Java-Klasse, die eine Zeile der importierten table.This Java-Klasse kapseln kann, wird durch die Sqoop selbst Furchtwasserentnahme Import process.The Quellcode dieser verwendet Nebenprodukt Java-Klasse .
Nach der Verarbeitung der importierten Daten, es kann zu einer beliebigen relationalen Datenbank mit Sqoop exportiert werden. Sqoop wird eine Reihe von Textdateien aus HDFS lesen (Parallel) und fügen Sie sie als neue Zeilen in die
Target table.Now diese Daten nur für Verbrauch durch die externen Anwendungen.
Sqoop bietet auch einige Kommandozeilen-Utilities, um Informationen über den databaes bekommen auf die sie working.The Liste der Datenbank-Schemas, Tabellen können auch für Verwendung Sqoop commands.Sqoop auch primitive SQL-Ausführung Shell werden.
Sqoop Operationen wie Import,exportieren,Code-Generierung etc können customized.For Import werden, Reihe Bereiche / Spalten können specified.The Trennzeichen werden, Escape-Zeichen für dateibasierte Darstellung kann auch Veränderungen nach der requirement.The Paket / Klasse Name des generierten Code sein kann auch angepasst werden, um die Anwendung Anforderung gerecht werden.
Sqoop Anschlüsse sind ein weiterer wichtiger Teil der tool.Connectors sind plugin Komponenten auf Sqoop Nebenstelle framework.These Anschlüsse gebaut, um jeden Sqoop Installation hinzugefügt werden können und dann können Daten zwischen Hadoop und externen Speicher übertragen werden.
Sqoop kommt mit Standard-Anschlüsse für verschiedene populäre Datenbanken wie MySQL, PostgreSQL, Orakel, SQL Server und DB2.Sqoop auch eine generische JDBC-Connector, die verwendet werden, um auf eine Datenbank zugänglich über JDBC verbinden kann.
Um diese Diskussion abschließen können wir sagen, dass Sqoop verwendet werden, um große Datenmengen zwischen Hadoop und externen Datenspeichern übertragen efficiently.Beyond diese, Sqoop bietet auch viele erweiterte Funktionen wie verschiedene Datenformate,Kompression,Anpassung,Arbeiten mit Abfragen etc.
