Apache Sqoop é uma ferramenta utilizada para a transferência de dados de / para o Hadoop sistema de arquivo distribuído. Hadoop arquitetura pode processar dados GRANDES e armazená-lo em HDFS. Mas, se quisermos usar esses dados, então temos de usar alguma ferramenta para importar / exportar de forma eficiente. Apache Sqoop permite a fácil importação e exportação de dados de lojas estruturadas de dados, tais como bancos de dados relacionais, armazéns de dados corporativos, e sistemas NoSQL.
Apache Sqoop é muito importante quando pensamos sobre o uso do Hadoop para análise e dados processamento.O dois aspectos principais que são o endereço Sqoop
um) Carregamento a granel(produção) dados no Hadoop.
b) Acessando dados em massa a partir de mapa / reduzir aplicativos em execução em grandes aglomerados.
Anteriormente, usado para escrever / usar scripts para importar / exportar dados entre systems.But diferente este processo é ineficiente e não assegura a consistência dos dados, precisão e outros pontos críticos.
Sqoop usa o mecanismo para a frente para transferir conjunto de dados data.The está dividido em fatias e cada fatia é um job.Now mapa somente cada trabalho mapa somente é responsável pela transferência de uma fatia do conjunto de dados.
Como já discutimos, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Há um sub-produto da importação process.It Sqoop é uma classe Java que podem encapsular uma linha da importado table.This classe Java é usada pelo próprio Sqoop durng importação de código fonte process.The deste subproduto classe Java .
Após o processamento dos dados importados, ele pode ser exportado para qualquer banco de dados relacional usando Sqoop. Sqoop vai ler um conjunto de arquivos de texto delimitados a partir de HDFS (em paralelo) e inseri-los como novas linhas à
table.Now alvo destes dados está disponível para consumtion pelas aplicações externas.
Sqoop também fornece alguns utilitários de comando para obter informações sobre os databaes em que está a lista de esquemas de banco de dados working.The, mesas também podem ser vistos usando Sqoop commands.Sqoop também fornece primitiva execução de SQL shell.
Operações de importação como Sqoop,exportar,etc geração de código pode ser de importação customized.For, faixas de linhas / colunas pode ser delimitadores specified.The, caracteres de escape para o arquivo representação baseada também pode ser mudanças como por o pacote requirement.The / nome da classe do código gerado também pode ser personalizado para atender a exigência de aplicação.
Conectores Sqoop são outra parte importante dos tool.Connectors são componentes do plugin construídas em conectores Sqoop de framework.These de extensão pode ser adicionado a qualquer instalação Sqoop e depois os dados podem ser transferidos entre o Hadoop e armazenamento externo.
Sqoop vem com conectores padrão para vários bancos de dados populares, tais como MySQL, PostgreSQL, Oráculo, SQL Server e DB2.Sqoop também inclui um conector JDBC genérico que pode ser usado para se conectar a qualquer banco de dados acessível via JDBC.
Para concluir essa discussão, podemos dizer que Sqoop pode ser usado para transferir grandes conjuntos de dados entre o Hadoop e armazenamentos de dados externo efficiently.Beyond esta, Sqoop também oferece muitos recursos avançados como diferentes formatos de dados,compressão,personalização,trabalhando com etc consultas.
