Apache Sqoop ir instruments, ko izmanto datu nosūtīšanai no / uz Hadoop dalītā failu sistēma. Hadoop arhitektūra var apstrādāt BIG datus un uzglabāt to HDFS. Bet, ja mēs vēlamies izmantot šos datus, tad mums ir nepieciešams izmantot dažas rīku, lai importa / eksporta to efektīvi. Apache Sqoop ļauj viegli importēt un datu eksportu no datu strukturētu veikalos, piemēram, relāciju datu bāzēm, uzņēmuma datu noliktavas, un NoSQL sistēmās.
Apache Sqoop ir ļoti svarīgi, ja mēs domājam par to, izmantojot par analītikas un Hadoop dati processing.The divus galvenos aspektus, kas Sqoop adrese ir
a) Iekraušanas lielāko(ražošana) datus Hadoop.
b) Piekļūšana beztaras datus no kartes / samazināt pieteikumus, kas darbojas uz lieliem klasteriem.
Agrāk mēs izmantojām, lai rakstītu / izmantot skriptus importēt / eksportēt datus starp dažādām systems.But šis process ir neefektīva un nenodrošina datu konsekvenci, precizitāte un citi kritiskie punkti.
Sqoop izmanto taisni uz priekšu mehānismu pārnest data.The visa datu kopa tiek sadalīta šķēlītēs un katru šķēlīti ir plānota tikai job.Now katra karte-tikai darbs ir atbildīgs par nodošanu Viena šķēle no datu kopas.
Kā mēs esam apspriests, Sqoop var izmantot, lai importētu datus no RDBMS uz HDFS.The ieguldījumu importa procesā ir datu bāze galds un Sqoop skan tabulas rindu pēc rindas uz HDFS.The ievades procesā tiek veikta paralēli tā rezultāts būs vairākas files.These izejas faili var būt teksta failus vai cita veida failus, kas satur serializēja dati.
Ir blakusprodukts no Sqoop importa process.It ir Java klases, kas var rezumēju vienu rindu no importētās table.This Java klases tiek izmantots ar Sqoop pati durng importa procesu.Eiropadome pirmkoda tas Blakusproduktu Java klases .
Pēc pārstrādes importētie dati, to var eksportēt uz jebkuru relāciju datu bāzē, izmantojot Sqoop. Sqoop lasīs kopa norobežota teksta failus no HDFS (paralēli) un ievietot tos kā jaunu rindu
mērķa table.Now šie dati ir pieejami consumtion ar ārējām lietojumprogrammām.
Sqoop arī dažus komandas komunālie iegūt informāciju par databaes uz kuriem tā ir working.The saraksts datubāzes shēmu, tabulas var arī apskatīt, izmantojot Sqoop commands.Sqoop nodrošina arī primitīva SQL izpildes apvalks.
Sqoop darbības, piemēram, importu,eksportēt,kods paaudze utt var būt customized.For imports, rinda diapazoni / kolonnas var būt specified.The norobežotājus, aizbēgt rakstzīmes failu balstītas pārstāvība var būt arī izmaiņas, kā vienu requirement.The iepakojuma / klase nosaukums radīto kodu var arī pielāgot, lai apmierinātu pieteikumu prasībām.
Sqoop savienotāji ir vēl viena svarīga daļa no tool.Connectors ir spraudnis sastāvdaļas būvēti uz Sqoop paplašinājums framework.These savienotājus var pievienot jebkuru Sqoop uzstādīšanas un pēc tam datus var pārskaitīt starp Hadoop un ārējo veikalā.
Sqoop nāk ar noklusējuma savienotājiem dažādiem populāriem datu bāzēm, piemēram, MySQL, PostgreSQL, Orākuls, SQL Server un DB2.Sqoop arī vispārējs JDBC savienotājs, ko var izmantot, lai izveidotu savienojumu ar jebkuru datu bāzi pieejama, izmantojot JDBC.
Noslēgt šo diskusiju mēs varam teikt, ka Sqoop var izmantot, lai pārsūtītu lielu datu kopu starp Hadoop un ārējo krātuvēm efficiently.Beyond šis, Sqoop piedāvā arī daudzas uzlabotas funkcijas, piemēram, dažādu datu formātu,kompresija,pielāgošanu,strādā ar vaicājumiem utt.
