Apache Sqoop è uno strumento utilizzato per trasferire dati da / verso file system distribuito Hadoop. Hadoop architettura in grado di elaborare i dati BIG e conservarla in HDFS. Ma se si vuole utilizzare tali dati poi abbiamo bisogno di usare qualche strumento per importare / esportare in modo efficiente. Apache Sqoop permette una facile importazione e l'esportazione di dati da archivi di dati strutturati, come i database relazionali, dati aziendali magazzini, e sistemi NoSQL.
Apache Sqoop è molto importante quando si pensa di utilizzare Hadoop per l'analisi dei dati e processing.The due aspetti principali che affrontano Sqoop sono
un) Caricamento di massa(produzione) dati in Hadoop.
b) Accesso ai dati di massa dalla mappa / ridurre le applicazioni in esecuzione su cluster di grandi dimensioni.
In precedenza abbiamo usato per scrivere / utilizzare gli script per importare / esportare i dati tra diversi systems.But questo processo è inefficiente e non garantisce la coerenza dei dati, accuratezza e altri punti critici.
Sqoop utilizza un meccanismo semplice per trasferire data.The intero set di dati è divisa in fette e ogni fetta è una mappa sola job.Now ogni mappa di solo lavoro è responsabile per il trasferimento di una fetta del data-set.
Come abbiamo discusso, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Vi è un sottoprodotto della process.It importazione Sqoop è una classe Java che può incapsulare una riga della importato table.This Java classe viene utilizzata per la stessa Sqoop durng codice sorgente process.The importazione di questo sottoprodotto Java class .
Dopo l'elaborazione dei dati importati, può essere esportato in un database relazionale mediante Sqoop. Sqoop leggerà una serie di file di testo delimitato da HDFS (in parallelo) e li inserire come nuove righe alla
obiettivo table.Now questi dati sono disponibili per consumtion dalle applicazioni esterne.
Sqoop fornisce anche alcune utilità di comando per ottenere informazioni sui databaes su cui è working.The elenco di schemi di database, tabelle possono anche essere visualizzati con Sqoop commands.Sqoop fornisce anche primitiva SQL di esecuzione della shell.
Operazioni di importazione come Sqoop,esportazione,generazione ecc codice può essere di importazione customized.For, campi di riga / colonne può essere delimitatori specified.The, caratteri di escape per il file di rappresentazione può essere anche modifiche come per il pacchetto requirement.The / nome della classe del codice generato può anche essere personalizzato per soddisfare le esigenze applicative.
Connettori Sqoop sono un'altra parte importante delle tool.Connectors sono componenti di plugin costruite su connettori di estensione Sqoop di framework.These può essere aggiunto a qualsiasi installazione Sqoop e quindi i dati possono essere trasferiti tra Hadoop e archivio esterno.
Sqoop viene fornito con connettori di default per le varie banche dati popolari come MySQL, PostgreSQL, Oracolo, SQL Server e DB2.Sqoop comprende anche un connettore JDBC generico che può essere utilizzato per connettersi a qualsiasi database accessibile tramite JDBC.
Per concludere questa discussione possiamo dire che Sqoop può essere utilizzato per trasferire dati di grandi dimensioni tra Hadoop ed esterne datastore efficiently.Beyond questo, Sqoop offre anche molte caratteristiche avanzate come diversi formati di dati,compressione,personalizzazione,lavorare con le query ecc.
