Apache Sqoop ay isang kasangkapan na ginagamit para sa paglilipat ng mga data mula sa / sa file sistema ng Hadoop distributed. Hadoop architecture magproseso ng mga BIG data at mag-imbak ang mga ito sa HDFS. Ngunit kung gusto naming gamitin ang data na iyon kailangan namin upang gamitin ang ilang mga tool upang i-import / i-export ito mahusay. Apache Sqoop nagbibigay-daan sa madaling-import at export ng data mula sa mga tindahan ng nakabalangkas na data tulad ng mga pamanggit database, enterprise data warehouses, at NoSQL system.
Apache Sqoop ay napakahalaga kapag tungkol namin tingin gamit Hadoop para sa analytics at data processing.The dalawang pangunahing aspeto kung aling address ng Sqoop ay
isang) Naglo-load ng maramihan(produksyon) data sa Hadoop.
b) Sa pag-access ng bulk data mula sa mapa / mabawasan ang mga application na tumatakbo sa malaking kumpol.
Mas maaga ginamit namin upang magsulat / gamitin ang mga script upang i-import / export ng data sa pagitan ng iba't ibang systems.But ang prosesong ito ay hindi mabisa at hindi matiyak ang data pagkakapare-pareho, katumpakan at iba pang mga kritikal na puntos.
Sqoop gumagamit ng tuwid forward mekanismo upang ilipat data.The buong dataset ay splitted sa hiwa at slice bawat isang mapa lamang job.Now bawat mapa-lamang na trabaho ay responsable para sa paglilipat ng isang slice ng data-set.
Bilang namin na tinalakay, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
May isang sa pamamagitan ng-produkto ng import ng process.It Sqoop ng Java class na maaari encapsulate ng isang hilera ng ang nai-import na table.This Java class ay ginagamit ng Sqoop mismo durng import process.The source code ng mga ito sa pamamagitan ng-produkto Java class .
Matapos ang pagproseso ng nai-import na data, ito-export sa anumang pamanggit database gamit Sqoop. Sqoop ay basahin ang isang hanay ng mga file ng teksto ng delimited mula HDFS (kahanay) at ipasok ang mga ito bilang mga bagong hilera sa
target table.Now data na mga ito ay magagamit para sa consumtion sa pamamagitan ng panlabas na application.
Nagbibigay din ng Sqoop ilang mga utilities ng command upang makakuha ng impormasyon tungkol sa databaes kung saan ito ay working.The listahan ng mga schemas ng database, maaari ring tingnan ang mga talahanayan gamit ang Sqoop commands.Sqoop Nagbibigay din ang primitive na pagpapatupad ng SQL shell.
Pagpapatakbo tulad import ng Sqoop,luwas,paggawa ng code atbp customized.For import, mga saklaw ng hilera / haligi ng specified.The delimiter, escape character para sa file na batay sa representasyon ay maaari ding maging ang mga pagbabago tulad ng bawat ang requirement.The package / pangalan ng klase ng nabuo code ay maaari ring ma-customize upang matugunan ang mga kinakailangan ng application.
Mga Sqoop Connectors ay isa pang mahalagang bahagi ng tool.Connectors bahagi ng plugin na binuo sa Connectors ng extension ng Sqoop framework.These ay maaaring idagdag sa anumang pag-install ng Sqoop at pagkatapos data ay maaaring mailipat pagitan ng Hadoop at panlabas na mga tindahan.
Sqoop may Connectors ng default para sa mga iba't ibang mga popular na database tulad ng MySQL, PostgreSQL, Orakulo, Kasama rin sa generic na JDBC connector na maaaring gamitin upang kumonekta sa anumang database na naa-access sa pamamagitan ng JDBC SQL Server at DB2.Sqoop.
Upang tapusin ang diskusyong ito, maaari naming sabihin ang Sqoop na maaaring magamit upang maglipat ng malalaking dataset sa pagitan ng Hadoop at panlabas datastores efficiently.Beyond ito, Sqoop din ay nag-aalok ng maraming mga advanced na mga tampok tulad ng ibang mga format ng data,pagpiga,pagpapasadya,nagtatrabaho sa mga query atbp.
