Apache Sqoop / və Hadoop paylanmış fayl sistemi data ötürülməsi üçün istifadə edilən bir vasitədir. Hadoop memarlıq BIG data emal və HDFS onu saxlaya bilərsiniz. Biz data istifadə etmək istəyirsinizsə Lakin biz idxal / o səmərəli ixrac bəzi alət istifadə etmək lazımdır. Apache Sqoop belə relational verilənlər bazası kimi strukturlaşdırılmış data mağazalar asan idxal və məlumatların ixrac imkan verir, müəssisə data anbarlarda, və NoSQL sistemləri.
Apache Sqoop biz analytics üçün Hadoop istifadə edirəm və məlumat Sqoop ünvan iki əsas aspektləri processing.The çox vacibdir
bir) Toplu Loading(istehsal) Hadoop veri.
b) Xəritədən toplu data giriş / böyük qruplar çalışan uygulamalar azaltmaq.
Əvvəllər biz yazmaq / bu prosesi səmərəsiz və data ardıcıllıq təmin etmir müxtəlif systems.But arasında data idxal / ixrac scripts istifadə etmək üçün istifadə, dəqiqliyi və digər kritik.
Sqoop data.The bütün verilənlər bazasının dilim daxil paylanıb yerləşir transfer düz irəli mexanizm istifadə edir və hər bir dilim hər xəritə yalnız iş data-sıra bir dilim köçürülməsi üçün cavabdehdirlər bir xəritə yalnız job.Now edir.
Biz müzakirə etdiyimiz kimi, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Bu Sqoop idxal process.It və məhsul ilə bu idxal process.The mənbə kodu durng də Sqoop özü tərəfindən istifadə olunur idxal table.This Java sinif bir sıra içine bilən Java sinif var Java sinif məhsulun .
Idxal data emal sonra, bu Sqoop istifadə edərək hər hansı relational verilənlər bazası ixrac edilə bilər. Sqoop HDFS dən ayrılmış mətn faylları bir sıra oxuyacaq (paralel) və yeni satır kimi daxil
hədəf table.Now Bu data xarici applications consumtion üçün mövcuddur.
Sqoop də bazası şemaları və working.The siyahısı etdiyi databaes haqqında məlumat almaq üçün bir komanda kommunal təmin edir, masalar da Sqoop commands.Sqoop də ibtidai SQL icra shell təmin istifadə baxıla bilər.
Idxal kimi Sqoop əməliyyatları,ixrac,kodu nəsil s customized.For idxal ola bilər, sıra aralıklarının / sütun specified.The foydalanish ola bilər, fayl based təmsil simvol qaçmaq da requirement.The paket / Oluşturulan kodu sinif adı kimi dəyişikliklər ola bilər, həmçinin tətbiq tələbinə cavab özelleştirilebilir.
Sqoop bağlayıcı olan tool.Connectors digər mühüm hissəsi Sqoop uzantısı framework.These bağlayıcı inşa plugin komponentləri hər hansı Sqoop quraşdırma əlavə edə bilərsiniz və sonra data Hadoop və xarici mağaza arasında köçürülə bilər.
Sqoop belə MySQL kimi müxtəlif populyar verilənlər bazası üçün default bağlayıcı ilə gəlir, PostgreSQL, Kahin, SQL Server və DB2.Sqoop də JDBC vasitəsilə əlçatan hər bazasında bağlanmak üçün istifadə edilə bilər bir ümumi JDBC bağlayıcı.
Bu müzakirə bağlamaq ki Sqoop Hadoop və xarici datastores arasında böyük Kümeleri köçürmək üçün istifadə edilə bilər deyə bilərsiniz bu efficiently.Beyond, Sqoop müxtəlif data format kimi bir çox inkişaf etmiş funksiyalar təklif edir,sıxılma,özelleştirme,sorğu s iş.
