Apache Sqoop on väline, jota käytetään tietojen siirtämiseen / ja Hadoop Distributed File System. Hadoop arkkitehtuuri voi käsitellä BIG tietoja ja tallentaa sen HDFS. Mutta jos haluamme käyttää näitä tietoja meidän täytyy käyttää joitakin keino tuoda / viedä sitä tehokkaasti. Apache Sqoop helppo tuonti ja vienti tietoja jäsennelty tietovarastot kuten relaatiotietokantojen, yrityksen tietovarastojen, ja NoSQL järjestelmät.
Apache Sqoop on erittäin tärkeää, kun ajattelemme käyttäen Hadoop Analytics ja tietojen processing.The kahdesta näkökulmasta, jotka Sqoop osoite on
a) Ladataan bulk(tuotanto) data Hadoop.
b) Pääsy irtotavarana tietojen kartta / vähentää sovellukset käynnissä suuria klustereita.
Aiemmin meillä oli tapana kirjoittaa / käyttää skriptejä tuoda / viedä tietoja eri systems.But tämä prosessi on tehoton eikä tietojen johdonmukaisuuden varmistamiseksi, tarkkuus ja muut kriittiset kohdat.
Sqoop käyttää suoraan eteenpäin mekanismi siirtää saavutettaisiin paras koko aineisto on halkaistu viipaleiksi ja kukin viipale on kartta vain job.Now jokainen kartta-ainoa tehtävä on vastuussa siirtää yhden viipaleen tietojen-set.
Kuten olemme keskustelleet, Sqoop voidaan tuoda tietoja RDBMS osaksi HDFS.The panos tuontiprosessi on tietokanta pöytä ja Sqoop lukee taulukon rivi kerrallaan osaksi HDFS.The tulo suoritetaan rinnakkain siten tuotanto on useita files.These ulostulo tiedostoja voi olla tekstitiedostoja tai muu sisältävät tiedostot serialized data.
On sivutuote Sqoop tuonnin process.It on Java-luokka, joka voi koteloida yhden rivin tuodun table.This Java-luokka on käyttää Sqoop itse durng tuonti prosessiin.Eurooppa lähdekoodia tämän sivutuotteen Java-luokka .
Käsittelyn jälkeen tuotujen tietojen, se voidaan viedä mihin tahansa relaatiotietokantaan käyttämällä Sqoop. Sqoop lukee joukon rajattua tekstitiedostoja HDFS (rinnakkain) ja aseta ne uusia rivejä
tavoite table.Now näitä tietoja on saatavilla consumtion ulkoisen sovellukset.
Sqoop myös joitakin komennon apuohjelmia saada tietoa databaes johon se on working.The lista tietokantaan skeemoja, taulukoita voidaan nähdä myös käyttämällä Sqoop commands.Sqoop myös primitiivinen SQL suorittamisen kuori.
Sqoop toimintoja, kuten tuonti,vienti,koodin generointi jne. voidaan customized.For tuonti, rivi alueet / sarakkeet voidaan specified.The erotinmerkkejä, paeta merkkiä tiedosto pohjainen esitys voi olla myös muutoksia kohti requirement.The paketin / luokka nimi Tuotettu koodi voidaan räätälöidä sovelluksen vaatimukset.
Sqoop liittimet ovat toinen tärkeä osa tool.Connectors ovat plugin komponentteja rakennettu Sqoop laajennus framework.These liittimiä voidaan lisätä mihin tahansa Sqoop asennus ja sitten voidaan siirtää välillä Hadoop ja ulkoisen myymälä.
Sqoop tulee oletuksena liittimiä eri suosittuja tietokantoja kuten MySQL, PostgreSQL, Oraakkeli, SQL Server ja DB2.Sqoop sisältää myös yleisiä JDBC liitin, joka voidaan liittää mihin tahansa tietokantaan pääsee JDBC.
Voit tehdä tämän keskustelun voimme sanoa, että Sqoop voidaan siirtää suuria aineistoja välillä Hadoop ja ulkoisten datastores efficiently.Beyond tätä, Sqoop tarjoaa myös monia kehittyneitä ominaisuuksia, kuten eri tiedostomuotoja,puristus,Räätälöinti,kanssa kyselyjä jne..
