Apache Sqoop olyan használt eszköz adatátvitel / a Hadoop elosztott fájlrendszer. Hadoop építészet képes feldolgozni BIG adatokat, és tárolja HDFS. De ha azt akarjuk, hogy az adatokat akkor kell használni néhány eszköz import / export azt hatékonyan. Apache Sqoop lehetővé teszi a könnyű import és export adatok strukturált adatok boltokban, mint a relációs adatbázisok, vállalati adattárházak, és NoSQL rendszerek.
Apache Sqoop nagyon fontos, amikor azt gondoljuk, használatával kapcsolatos Hadoop az elemzési és adatok processing.The két fő szempontok, amelyek Sqoop lakcíme
a) Betöltése ömlesztett(termelés) adatok Hadoop.
b) Elérése ömlesztett adatok megjelenítése / csökkentése futó alkalmazások nagy klaszterek.
Korábban már írásához használt / használható szkripteket import / export adatok különböző systems.But ez a folyamat nem hatékony, és nem biztosítja az adatok konzisztenciája, pontosság és egyéb kritikus pontok.
Sqoop használat egyenesen előre mechanizmust át data.The teljes adatkészlet osztott szeletekre, és minden szelet egy térkép csak job.Now egyes térkép csak munka felelős azért egy szelet az adat-set.
Amint már tárgyalt, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Van egy mellékterméke a Sqoop import process.It egy Java osztály, amely magukba egy sort az importált table.This Java osztály által használt Sqoop maga durng import process.The forráskódjához melléktermék Java osztály .
Feldolgozása után az importált adatokat, lehet exportálni bármilyen relációs adatbázis segítségével Sqoop. Sqoop fogja olvasni egy sor tagolt szöveges fájlokat HDFS (párhuzamosan) és helyezze azokat az új sort a
cél table.Now ezek az adatok rendelkezésre áll felhasználást a külső alkalmazások.
Sqoop is biztosít parancsot segédprogramok kap információt databaes, amelyen azt working.The lista adatbázissémákat, táblák is megtekinthető Sqoop commands.Sqoop is rendelkezik primitív SQL végrehajtás shell.
Sqoop műveletek, mint import,export,kódgenerálás etc lehet customized.For import, sorban tartományok / oszlopok lehet specified.The határolók, menekülés karakterek fájl alapú képviselet is lehet változás, mint egy a requirement.The csomag / osztály neve a generált kód is testreszabható, hogy megfeleljen az alkalmazási követelmények.
Sqoop csatlakozók másik fontos része a tool.Connectors adott bővítmény alkatrészek épül Sqoop kiterjesztését framework.These csatlakozókat lehet adni bármely Sqoop telepítés és az adatok átadását Hadoop és a külső raktár.
Sqoop jön alapértelmezett csatlakozók a különböző népszerű adatbázisokhoz, mint például MySQL, PostgreSQL, Jóslat, SQL Server és DB2.Sqoop tartalmaz egy általános JDBC csatlakozót, amely lehet csatlakozni bármely hozzáférhető adatbázis JDBC-n keresztül.
Összefoglalva: ez a vita azt mondhatjuk, hogy Sqoop lehet használni, hogy át nagy adathalmazok között Hadoop és a külső adatrögzítők efficiently.Beyond e, Sqoop is kínál számos fejlett funkciók, mint a különböző adatformátumok,összenyomás,testreszabás,dolgozó lekérdezések tartozik.
