Apache Sqoop гэта інструмент, які выкарыстоўваецца для перадачы дадзеных з / у Hadoop размеркаваная файлавая сістэма. Hadoop архітэктура можа апрацоўваць вялікія дадзеныя і захоўваць яго ў HDFS. Але калі мы хочам выкарыстоўваць гэтыя дадзеныя, то мы павінны выкарыстоўваць нейкі інструмент для імпарту / экспарту гэта эфектыўна. Apache Sqoop дазваляе лёгка імпарту і экспарту дадзеных з структураванага сховішчы дадзеных, такіх як рэляцыйныя базы дадзеных, Прадпрыемства сховішчаў дадзеных, і NoSQL сістэм.
Apache Sqoop вельмі важна, калі мы думаем аб выкарыстанні Hadoop для аналізу і дадзеных processing.The два асноўных аспекту, якія Sqoop-адрасоў
a) Пагрузкі сыпкіх(вытворчасць) дадзеных у Hadoop.
сі) Доступ вялікіх аб'ёмаў дадзеных з карты / паменшыць прыкладанняў, якія працуюць на вялікіх кластарах.
Раней мы выкарыстоўвалі для запісу / выкарыстоўваць скрыпты для імпарту / экспарту дадзеных паміж рознымі systems.But гэтага працэсу з'яўляецца неэфектыўнай і не забяспечвае цэласнасць дадзеных, Дакладнасць і іншых крытычных кропак.
Sqoop выкарыстоўвае прамой механізм перадачы data.The ўвесь набор дадзеных разбіты на кавалачкі і кожны кавалачак ўяўляе сабой карту толькі для job.Now кожнай карце толькі праца адказвае за перадачу адзін лустачка набор дадзеных.
Як мы ўжо казалі, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Існуе пабочны прадукт process.It імпарт Sqoop гэта клас Java, які можа інкапсуляваць адзін шэраг імпартных table.This Java клас выкарыстоўваецца Sqoop сябе durng імпарт process.The зыходны код гэтага пабочнага прадукта Java клас .
Пасля апрацоўкі імпартаваных дадзеных, гэта могуць быць экспартаваныя ў любы рэляцыйнай базы дадзеных з дапамогай Sqoop. Sqoop будзе чытаць набор тэкставых файлаў з HDFS (паралельна) і ўставіць іх у якасці новых радкоў
мэтавай table.Now гэтыя дадзеныя даступныя для Спажыванне знешнімі праграмамі.
Sqoop таксама дае некаторыя ўтыліты каманднага атрымаць інфармацыю аб databaes, на якім working.The спіс схем баз дадзеных, Табліцы таксама могуць быць прагледжаныя з дапамогай Sqoop commands.Sqoop таксама забяспечвае прымітыўнае выкананне SQL абалонкі.
Sqoop аперацый, такіх як імпарт,экспарт,і г.д. генерацыі кода можа быць customized.For імпарт, шэраг дыяпазонаў / слупкоў можа быць specified.The падзельнікі, пазбегнуць знакаў для імёнаў файлаў на аснове прадстаўлення таксама могуць быць змены ў адпаведнасці з requirement.The пакет / імя класа згенераваны код таксама можа быць наладжаны для задавальнення патрабаванняў прыкладанняў.
Sqoop раздымы з'яўляюцца яшчэ адной важнай часткай tool.Connectors з'яўляюцца ўбудовы кампаненты пабудаваны на раздымы Sqoop ў пашырэнні framework.These можа быць дададзены да любога Sqoop ўстаноўкі, а затым дадзеныя могуць перадавацца паміж Hadoop і знешніх краме.
Sqoop па змаўчанні пастаўляецца з раздымамі для розных папулярных баз дадзеных, такіх як MySQL, PostgreSQL, Аракул, SQL Server і DB2.Sqoop таксама ўключае ў сябе агульны раз'ём JDBC, які можа быць выкарыстаны для падлучэння да любой базе дадзеных, даступнай праз JDBC.
У заключэнне гэтага абмеркавання мы можам сказаць, што Sqoop можа быць выкарыстаны для перадачы вялікіх аб'ёмаў дадзеных паміж Hadoop і знешніх сховішчаў дадзеных efficiently.Beyond гэтым, Sqoop таксама прапануе мноства дадатковых функцый, такіх як розныя фарматы дадзеных,сціск,налада,праца з запытамі і г.д..
