아파치 Sqoop는 /에서 Hadoop 분산 파일 시스템에 데이터를 전송하는 데 사용되는 도구입니다. Hadoop 아키텍처는 큰 데이터를 처리하고 HDFS에 저장할 수 있습니다. 우리가 그 데이터를 사용하려는 경우하지만 우리는 가져 오기 /이 효율적으로 내보낼 도구를 사용할 필요가. 아파치 Sqoop는 관계형 데이터베이스와 같은 데이터 저장소에서 쉽게 가져 오기 및 데이터 수출을 허용, 기업 데이터웨어 하우스, 과 NoSQL 시스템에게.
아파치 Sqoop은 우리가 분석을 위해 Hadoop을 사용하여 생각하고 데이터를 Sqoop 주소가 두 가지 측면을 processing.The 때 매우 중요합니다
에이) 대량로드(생산) Hadoop으로 데이터.
B) 지도에서 대량 데이터를 액세스하는 것은 / 대형 클러스터에서 실행되는 응용 프로그램을 줄일 수.
이전 우리는 / 쓰기이 과정이 비효율적이며, 데이터 일관성을 보장하지 않습니다 다른 systems.But 사이에 데이터를 가져 오기 / 내보내기하는 스크립트를 사용하는 데 사용, 정확성 및 기타 중요한 포인트.
Sqoop는 data.The 전체 데이터 세트가 슬라이스로 splitted되어 전송 똑바로 앞으로 메커니즘을 사용하며, 각 슬라이스는 각지도 만 작업이 데이터 세트의 한 조각을 전송 할 책임이 있습니다지도 만 job.Now입니다.
우리는 논의 것처럼, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Sqoop 가져 오기 process.It의 - 제품 별이의 수입 process.The 소스 코드를 durng Sqoop 자체에서 사용하는 수입 table.This 자바 클래스의 하나의 행을 캡슐화 할 수있는 자바 클래스 갈 수 있습니다 자바 클래스 제품 별 .
가져온 데이터를 처리 한 후, 그것은 Sqoop를 사용하는 관계형 데이터베이스로 내보낼 수. Sqoop는 HDFS에서 구분 된 텍스트 파일의 집합을 읽을 것입니다 (병행하여) 과에 새로운 행로를 삽입
대상 table.Now이 데이터는 외부 응용 프로그램에서 consumtion 사용할 수 있습니다.
Sqoop는 또한 데이터베이스 스키마의 working.The 목록입니다되는 databaes에 대한 정보를 얻기 위해 몇 가지 명령 유틸리티를 제공합니다, 테이블도 Sqoop commands.Sqoop는 원시적 인 SQL 실행 쉘을 제공하여 볼 수 있습니다.
수입과 같은 Sqoop 운영,수출,코드 생성 등 customized.For 가져 오기 할 수 있습니다, 행 범위 / 열 specified.The 구분 기호를 할 수 있습니다, 파일 기반의 표현을 위해 문자를 이스케이프하는 것은 또한 requirement.The 패키지 / 생성 된 코드의 클래스 이름에 따라 변경 될 수 있습니다 또한 응용 프로그램 요구 사항을 충족하기 위해 사용자 정의 할 수.
Sqoop 커넥터는 tool.Connectors의 또 다른 중요한 부분 Sqoop의 확장 framework.These 커넥터에 기반 플러그인 구성 요소가 어떤 Sqoop 설치에 추가 할 수 있습니다 그리고 데이터가 Hadoop 및 외부 저장소 사이에 전송할 수 아르.
Sqoop는 MySQL의 등 다양한 인기 데이터베이스에 대한 기본 커넥터가 있습니다, 포스트 그리 SQL (PostgreSQL), 신탁, SQL Server와 DB2.Sqoop는 JDBC를 통해 접근 할 수있는 데이터베이스에 연결하는 데 사용할 수있는 일반적인 JDBC 커넥터를 포함.
이 토론을 체결하기 위해 우리가 Sqoop는 Hadoop 및 외부 datastores 사이에 큰 데이터 세트를 전송하는 데 사용할 수있는 말을 할 수있는 건이를 efficiently.Beyond, Sqoop는 다른 데이터 형식과 같은 많은 고급 기능을 제공,압축,사용자 정의,쿼리 등과 협력.
