Apache Sqoop yn offeryn a ddefnyddir i drosglwyddo data o / i Hadoop system ffeiliau dosbarthu. Gall Hadoop pensaernïaeth brosesu data Gronfa Loteri Fawr ac yn ei storio mewn HDFS. Ond os ydym am i ddefnyddio'r data, yna mae angen i ni ddefnyddio rhai offeryn i fewnforio / allforio effeithlon. Apache Sqoop yn caniatáu mewnforio hawdd ac allforio data o siopau data strwythuredig megis cronfeydd data perthynol, menter warysau data, a systemau NoSQL.
Apache Sqoop yn bwysig iawn pan fyddwn yn meddwl am ddefnyddio Hadoop gyfer analytics a data processing.The dwy brif agwedd sy'n mynd i'r afael Sqoop yn
a) Llwytho swmp(cynhyrchu) data i mewn i Hadoop.
b) Cael gafael ar ddata swmp o fap / lleihau ceisiadau yn rhedeg ar glystyrau mawr.
Yn gynharach rydym yn ei ddefnyddio i ysgrifennu / defnyddio sgriptiau i fewnforio / allforio data rhwng systems.But gwahanol y broses hon yn aneffeithlon ac nid yw'n sicrhau cysondeb data, cywirdeb a phwyntiau allweddol eraill.
Sqoop yn defnyddio mecanwaith syml i drosglwyddo set ddata data.The cyfan yn cael ei splitted i mewn i sleisys a phob tafell yn job.Now map yn unig pob swydd map yn unig yn gyfrifol am drosglwyddo un tafell o set ddata.
Fel yr ydym wedi trafod, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Mae yn un o sgil-gynnyrch y mewnforio Sqoop process.It yn ddosbarth Java a all crynhoi un rhes o fewnforio table.This Java dosbarth yn cael ei ddefnyddio gan y Sqoop ei hun durng cod ffynhonnell mewnforio process.The o hyn gan-gynnyrch Java ddosbarth .
Ar ôl prosesu'r data a fewnforiwyd, gellir ei allforio i unrhyw gronfa ddata berthynol ddefnyddio Sqoop. Bydd Sqoop darllen set o ffeiliau testun delimited o HDFS (ochr yn ochr) a mewnosod nhw fel rhesi newydd i'r
targed table.Now data hyn ar gael ar gyfer consumtion gan y ceisiadau allanol.
Sqoop hefyd yn darparu rhai cyfleustodau gorchymyn i gael gwybodaeth am y databaes y mae'n rhestr working.The o sgemâu cronfa ddata, Mae'r tablau hefyd yn cael eu gweld drwy ddefnyddio Sqoop commands.Sqoop hefyd yn darparu gweithredu cyntefig gragen SQL.
Gweithrediadau Sqoop fel mewnforio,allforio,Gall etc cynhyrchu cod yn customized.For mewnforio, Gall amrywio rhes / golofn yn amffinyddion specified.The, Gellir gweld ddianc cymeriadau gyfer ffeiliau yn seiliedig ar gynrychiolaeth hefyd newidiadau yn unol â'r pecyn requirement.The / enw'r dosbarth y cod a gynhyrchir hefyd yn cael ei addasu i ateb y gofyniad cais.
Cysylltwyr Sqoop yn rhan arall pwysig o'r tool.Connectors yn gall cydrannau plugin adeiladu ar Sqoop yn cysylltwyr estyniad framework.These cael ei ychwanegu at unrhyw osodiad Sqoop ac yna gall data gael ei drosglwyddo rhwng Hadoop a storfa allanol.
Sqoop dod gyda cysylltwyr diofyn ar gyfer cronfeydd data poblogaidd amrywiol megis MySQL, PostgreSQL, Oracle, SQL Server a DB2.Sqoop hefyd yn cynnwys connector JDBC generig y gellir eu defnyddio i gysylltu ag unrhyw gronfa ddata ar gael trwy JDBC.
I gloi'r drafodaeth hon, gallwn ddweud y gall Sqoop yn cael ei ddefnyddio i drosglwyddo setiau data mawr rhwng Hadoop ac allanol datastores efficiently.Beyond hyn, Sqoop hefyd yn cynnig llawer o nodweddion uwch fel fformatau data gwahanol,cywasgu,addasu,gweithio ag ymholiadau ac ati.
