Apache Sqoop është një mjet i përdorur për transferimin e të dhënave nga / në file të sistemit Hadoop shpërndarë. Hadoop arkitektura mund të përpunojë të dhënat BIG dhe ruajtur atë në HDFS. Por në qoftë se ne duam të përdorim që të dhënat, atëherë ne kemi nevojë për të përdorur një mjet të import / eksport se në mënyrë efikase. Apache Sqoop lejon importin dhe eksportin e lehtë të të dhënave nga dyqanet të dhënave të strukturuara si bazave të të dhënave relacionale, ndërmarrje të dhënat e magazina, dhe sistemet NoSQL.
Apache Sqoop është shumë e rëndësishme kur ne mendojmë në lidhje me përdorimin Hadoop për analytics dhe të dhënat processing.The dy aspekte kryesore që janë adresa Sqoop
një) Loading pjesa më e madhe(prodhim) Të dhënat në Hadoop.
b) Përdorimi i të dhënave pjesa më e madhe nga harta / reduktojë aplikacionet kandidon për grupe të mëdha.
Më parë ne kemi përdorur për të shkruar / të përdorin Scripts për të import / eksport të dhënat në mes të systems.But ndryshme ky proces është i paefektshëm dhe nuk siguron qëndrueshmëri të dhënave, saktësinë dhe pika të tjera kritike.
Sqoop përdor mekanizmin e drejtë përpara për të transferuar dataset data.The tërë është splitted në feta dhe secila fetë është një hartë-vetëm job.Now çdo hartë vetëm për punë është përgjegjës për transferimin e një fetë e të dhënave set-.
Siç e kemi diskutuar, Sqoop mund të përdoret për të importuar të dhënat nga një RDBMS në HDFS.The kontribut në procesin e importit është një tryezë bazës së të dhënave dhe Sqoop lexon rresht tryezë me radhë në procesin e futjes HDFS.The kryhet paralelisht kështu prodhimi do të jetë prodhimi i shumëfishtë files.These fotografi mund të jetë fotografi tekst ose lloj tjetër të dosjeve që përmbajnë të dhëna serialized.
Nuk është një nga-produkt i process.It importit Sqoop është një klasë Java e cila mund të encapsulate një rresht të importuar klasës table.This Java është përdorur nga vetë Sqoop durng proces.Ideja importit kodin burimor të kësaj nga-produkt klasë Java .
Pas përpunimit të të dhënave të importuara, ajo mund të eksportohen në çdo bazë të dhënash relacionale duke përdorur Sqoop. Sqoop do të lexoni një sërë fotografi tekst te palimituar nga HDFS (paralelisht) dhe futur ato si rreshtave të reja të
Objektivi table.Now këtyre të dhënave është në dispozicion për harxhon nga aplikimet e jashtme.
Sqoop gjithashtu ofron disa shërbimeve komanduese për të marrë informacion në lidhje me databaes në të cilën ai është lista working.The e skemave të dhënave, Tabelat mund të shihet edhe duke përdorur Sqoop commands.Sqoop gjithashtu ofron primitive SQL ekzekutimit shell.
Operacionet Sqoop si import,eksport,Kodi brez etj mund të jetë importi customized.For, Shkon rresht / kolona mund të jetë përndarësit specified.The, shpëtuar karaktere për përfaqësimin e file bazuar gjithashtu mund të ketë ndryshime, si për paketën e requirement.The / klasë emrin e kodit të gjeneruar gjithashtu mund të jenë përshtatur për të përmbushur kërkesat e aplikimit.
Lidhje Sqoop janë një pjesë e rëndësishme e tool.Connectors janë komponentet plugin ndërtuar mbi framework.These lidhësit Sqoop s extension mund të shtohet për çdo instalim Sqoop dhe pastaj të dhënat mund të transferohen në mes të Hadoop dhe dyqan të jashtëm.
Sqoop vjen me lidhje parazgjedhur për bazat e të dhënave të ndryshme popullore të tilla si MySQL, PostgreSQL, Orakull, SQL Server dhe DB2.Sqoop gjithashtu përfshin një lidhës generic JDBC që mund të përdoret për t'u lidhur me çdo bazë të dhënash të arritshme nëpërmjet JDBC.
Për të përfunduar këtë diskutim mund të themi se Sqoop mund të përdoret për të transferuar datasets të mëdha mes Hadoop dhe të jashtëm datastores efficiently.Beyond këtë, Sqoop gjithashtu ofron karakteristika shumë të avancuara si formate të ndryshme të të dhënave,ngjeshje,customization,punuar me pyetje etj.
