Apache Sqoop je alat koji se koristi za prijenos podataka od / do Hadoop distribuirani datotečni sustav. Hadoop arhitektura može obraditi BIG podatke i pohraniti ga u HDF-ovi. Ali, ako želimo koristiti te podatke onda moramo koristiti neki alat za uvoz / izvoz je učinkovito. Apache Sqoop omogućuje jednostavan uvoz i izvoz podataka iz strukturiranih podataka trgovinama, kao što relacijskim bazama podataka, poduzeće skladišta podataka, i NoSQL sustavi.
Apache Sqoop je vrlo važno kada razmišljamo o korištenju Hadoop za analitiku i podaci processing.The dvije glavne aspekte koji Sqoop adresa
a) Učitavanje skupno(proizvodnja) podataka u Hadoop.
b) Pristupanje bulk podatke s karte / smanjenje aplikacije na velikim klasterima.
Ranije smo koristili za pisanje / koristiti skripte za uvoz / izvoz podataka između različitih systems.But ovaj proces je neučinkovit i ne osigurava dosljednost podataka, točnost i druge kritične točke.
Sqoop koristi ravno naprijed mehanizam za prijenos data.The cijeli skup podataka je splitted na kriške i svaku krišku je karta samo job.Now svaka karta samo za posao je odgovoran za prijenos jedne kriška podataka-seta.
Kao što smo razgovarali, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Tu je nusproizvod u process.It Sqoop uvoz je Java klasa koji se može zatvoriti u kućište jedan redak uvoznog table.This Java klase koristi u Sqoop sama durng uvoz process.The izvorni kod to-proizvoda Java klase .
Nakon obrade uvezene podatke, može se izvesti u bilo kojem relacijske baze podataka koristeći Sqoop. Sqoop će pročitati niz razgraničena tekstna datoteka iz HDF-ovi (paralelno) i stavite ih kao nove redaka
Ciljna table.Now tih podataka je dostupna za POTROŠNJE prema vanjskim aplikacijama.
Sqoop također pruža neke zapovjedne alate da biste dobili informacije o databaes na kojem je working.The popis baza podataka shemama, Tablice također se može vidjeti koristeći Sqoop commands.Sqoop također pruža primitivnu SQL izvršenje ljuske.
Sqoop operacije poput uvoza,izvoz,Kod itd generacija može biti customized.For uvoz, red rasponi / stupovi mogu biti specified.The razdvojnike, pobjeći znakove za datoteke na temelju zastupljenosti također može biti promjene kao i po requirement.The paketa / ime klase generira kod također može se prilagoditi kako bi se zadovoljile potrebe primjene.
Sqoop priključci su još jedan važan dio tool.Connectors su plugin komponente ugrađene na Sqoop je konektorima ekstenzija framework.These se može dodati bilo Sqoop instalacije i onda se podaci mogu prenositi između Hadoop i vanjske trgovine.
Sqoop dolazi sa zadanim priključaka za razne popularnih baza podataka kao što su MySQL, PostgreSQL, Proročanstvo, SQL Server i DB2.Sqoop također uključuje generički JDBC priključak koji se može koristiti za spajanje na bilo koju bazu podataka dostupne putem JDBC.
Da zaključim ovu raspravu, možemo reći da Sqoop se može koristiti za prijenos velikih skupova podataka između Hadoop i vanjskog datastores efficiently.Beyond to, Sqoop također nudi mnoge napredne značajke kao što su različite formate podataka,kompresija,prilagodbu,rad s upite itd.
