アパッチSqoopは/からのHadoop分散ファイルシステムにデータを転送するために使用するツールです. Hadoopのアーキテクチャでは、ビッグデータを処理し、HDFSに格納することができます. 我々はそのデータを使用したい場合はしかし、我々は、効率的にそれをインポート/エクスポートするには、いくつかのツールを使用する必要が. アパッチSqoopは、リレーショナルデータベースなどの構造化されたデータストアからデータを簡単にインポートおよびエクスポートすることができます, エンタープライズ·データ·ウェアハウス, そしてNoSQLのシステム.
アパッチSqoopは、我々は分析のためにHadoopを使って考えると、データがSqoopアドレスは2つの主要な側面をprocessing.Theときに非常に重要である
A) バルク·ロード(生産) のHadoopへのデータ.
B) マップから大量のデータにアクセスすることも/大規模クラスタ上で実行するアプリケーションを減らす.
以前我々は、このプロセスが非効率的であり、データの一貫性を保証するものではありません別のsystems.But間でデータをインポート/エクスポートするスクリプトを作成/使用するために使用される, 精度やその他の重要なポイント.
Sqoopはdata.Theデータセット全体にスライスに分割されて転送するためにまっすぐ進むのメカニズムを使用し、各スライスは、各マップ専用のジョブがデータ·セットの1つのスライスを転送するための責任があるマップのみjob.Nowです.
私たちは論じてきたように, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Sqoopインポートprocess.Itの副産物の輸入process.Theこのソースコードをdurng Sqoop自体によって使用されている、インポートtable.This Javaクラスの1つの行をカプセル化することができるJavaクラスですがあるJavaクラス副産物.
インポートされたデータを処理した後, それはSqoopを使用して、任意のリレーショナルデータベースにエクスポートすることができます. Sqoopは、HDFSから区切られたテキストファイルのセットを読み込みます (並行して) とに新しい行として挿入する
ターゲットtable.Nowは、これらのデータが外部アプリケーションによってconsumtion可能です.
Sqoopまた、データベース·スキーマのworking.Theリストされているdatabaesに関する情報を得るために、いくつかのコマンドユーティリティを提供しています, テーブルもSqoop commands.SqoopもプリミティブSQL実行シェルを提供し使用して表示できます.
インポートのようなSqoop操作,エクスポート,コード生成などがcustomized.Forインポートすることができます, 行範囲/列はspecified.Theデリミタすることができます, ファイルベースの表現で文字をエスケープするためにも、生成されるコードのrequirement.Theパッケージ/クラス名ごとなどの変更は、アプリケーションの要件を満たすためにカスタマイズすることができますすることができます.
Sqoopコネクタはtool.Connectorsのもう一つの重要な一部であるSqoopの拡張framework.Theseコネクタ上に構築されたプラグインの構成要素である任意Sqoopのインストールに追加することができ、そのデータはHadoopと外部ストアとの間で転送することができます.
SqoopはMySQLなどの様々な人気のあるデータベースのデフォルトのコネクタが付属しています, PostgreSQLの, 神託, SQL ServerとDB2.SqoopもJDBC経由でアクセス可能な任意のデータベースに接続するために使用できる汎用JDBCコネクタを含む.
この議論を締結することを我々はSqoopがHadoopと外部データストア間で大規模なデータセットを転送するために使用することができると言うことができることは、これをefficiently.Beyond, Sqoopはまた、異なるデータ形式のような多くの高度な機能を提供しています,圧縮,カスタム化,クエリなどでの作業.
