Apache Sqoop / gelen Hadoop'un dağıtılmış dosya sistemi veri aktarımı için kullanılan bir araçtır. Hadoop'un mimarisi BÜYÜK verileri işlemek ve HDFS saklayabilirsiniz. Bu verileri kullanmak istiyorsanız Ama sonra biz ithalat / verimli ihracat için bazı aracı kullanmanız gerekir. Apache Sqoop gibi ilişkisel veritabanları gibi yapısal veri depolar kolay ithalat ve veri ihracat sağlar, kurumsal veri ambarları, ve NoSQL sistemleri.
Apache Sqoop biz yaklaşık analitik Hadoop'un kullanarak düşünüyorum ve veri Sqoop adresi olan iki ana yönü processing.The zaman çok önemlidir
Bir) Toplu yükleme(üretim) Hadoop'un veri.
b) Haritayı toplu verilerine erişme / büyük kümeler üzerinde çalışan uygulamaları azaltmak.
Daha önce biz yazma / bu süreci verimsiz ve veri tutarlılığını sağlamak değil farklı systems.But arasındaki veri almak / vermek için komut dosyalarını kullanmak için kullanılır, doğruluk ve diğer kritik noktalar.
Sqoop data.The tüm dataset dilimler halinde bölünmüş olup aktarmak için yalındır mekanizması kullanır ve her dilim Her harita, yalnızca iş veri kümesi bir dilim aktarılması için sorumlu bir harita yalnızca job.Now olduğunu.
Konuştuğumuz gibi, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Sqoop ithalat process.It yan ürünü bir bu ithalat process.The kaynak kodu durng Sqoop kendisi tarafından kullanılan ithal table.This Java sınıfı bir satır sarabiliriz bir Java sınıf vardır Java sınıf yan ürünü .
Alınan verileri işledikten sonra, Bu Sqoop kullanarak herhangi bir ilişkisel veritabanı ihraç edilebilir. Sqoop HDFS dan ayrılmış metin dosyaları bir dizi okuyacak (paralel olarak) ve yeni satırlar olarak eklemek
Hedef table.Now bu veriler harici uygulamalar tarafından tüketimi için kullanılabilir.
Sqoop ayrıca veritabanı şemaları Çalışmadan listesi hangi databaes hakkında bilgi almak için bazı komut yarar sağlar, Tablolar ayrıca Sqoop commands.Sqoop da ilkel SQL yürütme kabuk sağlar kullanılarak izlenebilir.
Ithalat gibi Sqoop işlemleri,ihracat,kod üretimi vb customized.For ithal olabilir, satır aralıkları / sütun specified.The sınırlayıcı olabilir, dosya tabanlı temsil karakterlerden kurtulmak da şartını paket / üretilen kod sınıf adı başı gibi değişiklikler olabilir ayrıca uygulama ihtiyacını karşılamak için özelleştirilebilir.
Sqoop konektörler tool.Connectors başka önemli parçasıdır Sqoop uzantısı framework.These konnektörleri üzerine inşa eklenti bileşenleri, herhangi Sqoop yükleme eklenebilir ve sonra veri Hadoop'un ve dış mağaza arasında transfer edilebilir vardır.
Sqoop MySQL gibi çeşitli popüler veritabanları için varsayılan bağlantı ile geliyor, PostgreSQL, Kehanet, SQL Server ve DB2.Sqoop da JDBC üzerinden erişilebilir herhangi bir veritabanına bağlanmak için kullanılan genel bir JDBC bağlantı içerir.
Bu tartışmayı sonuçlandırmak için biz bu Sqoop Hadoop'un ve harici veri depolarıyla arasındaki büyük gerçekleştirmede aktarmak için kullanılabilir söyleyebilirim bu efficiently.Beyond, Sqoop ayrıca farklı veri formatları gibi birçok gelişmiş özellikler sunuyor,sıkıştırma,özelleştirme,sorguları vs çalışma.
