Apache Sqoop adalah alat yang digunakan untuk mentransfer data dari / ke sistem file Hadoop terdistribusi. Hadoop arsitektur dapat memproses data yang besar dan menyimpannya di HDFS. Namun jika kita ingin menggunakan data maka kita perlu menggunakan beberapa alat untuk impor / ekspor secara efisien. Apache Sqoop memungkinkan impor mudah dan ekspor data dari toko data terstruktur seperti database relasional, data perusahaan gudang, dan sistem NoSQL.
Apache Sqoop sangat penting ketika kita berpikir tentang menggunakan Hadoop untuk analisis dan data processing.The dua aspek utama yang alamat Sqoop yang
sebuah) Memuat massal(produksi) data ke Hadoop.
b) Mengakses data massal dari peta / mengurangi aplikasi yang berjalan pada kelompok besar.
Sebelumnya kita digunakan untuk menulis / menggunakan script untuk impor / ekspor data antara systems.But yang berbeda proses ini tidak efisien dan tidak menjamin konsistensi data, akurasi dan poin penting lainnya.
Sqoop menggunakan mekanisme lurus ke depan untuk mentransfer seluruh dataset data.The yang splitted menjadi irisan dan setiap irisan adalah job.Now peta-peta hanya setiap pekerjaan-hanya bertanggung jawab untuk mentransfer satu potong data set-.
Sebagaimana telah kita bahas, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Ada oleh-produk dari process.It impor Sqoop adalah kelas Java yang dapat merangkum satu baris dari Jawa table.This impor kelas digunakan oleh Sqoop sendiri durng impor kode sumber process.The ini oleh-produk kelas Java .
Setelah pengolahan data impor, dapat diekspor ke database relasional menggunakan Sqoop. Sqoop akan membaca satu set file teks delimited dari HDFS (sejajar) dan memasukkan mereka sebagai baris baru ke
Target table.Now data ini tersedia untuk konsumsi oleh aplikasi eksternal.
Sqoop juga menyediakan beberapa utilitas perintah untuk mendapatkan informasi tentang databaes yang merupakan daftar bekerja.Makanan dari skema database, tabel juga dapat dilihat menggunakan Sqoop commands.Sqoop juga menyediakan primitif SQL eksekusi shell.
Sqoop operasi seperti impor,ekspor,kode dll generasi dapat customized.For impor, baris rentang / kolom dapat menjadi pembatas specified.The, melarikan diri karakter untuk file berbasis representasi juga dapat berubah sesuai paket requirement.The / kelas nama kode yang dihasilkan juga dapat disesuaikan untuk memenuhi kebutuhan aplikasi.
Konektor Sqoop lain adalah bagian penting dari tool.Connectors adalah Plugin komponen dibangun pada konektor framework.These Sqoop yang ekstensi dapat ditambahkan ke instalasi Sqoop dan kemudian data dapat ditransfer antara Hadoop dan toko eksternal.
Sqoop dilengkapi dengan konektor standar untuk database berbagai populer seperti MySQL, PostgreSQL, Peramal, SQL Server dan DB2.Sqoop juga termasuk konektor JDBC generik yang dapat digunakan untuk koneksi ke database yang dapat diakses melalui JDBC.
Untuk menyimpulkan diskusi ini kita dapat mengatakan Sqoop yang dapat digunakan untuk mentransfer dataset besar antara Hadoop dan eksternal datastores efficiently.Beyond ini, Sqoop juga menawarkan fitur-fitur canggih seperti format data yang berbeda,kompresi,kustomisasi,bekerja dengan query dll.
