Apache Sqoop estas ilo uzita por translokiganta datumon de/al Hadoop distribuita dosieran sistemon. Hadoop arkitekturo povas pretigi GRANDAN datumon kaj enteni ĝin en HDFS. Sed se ni deziras uzi tiun datumon tiam ni devas uzi iun ilon importi/eksportaĵon ĝi efike. Apache Sqoop permesas facilan importaĵon kaj eksportaĵon de datumo de strukturita datumajn vendejojn kiel interrilataj datumaroj, Entreprena datumo staploj, Kaj NoSQL sistemoj.
Apache Sqoop estas tre grava kiam ni pensas pri uzanta Hadoop por analytics kaj datuma pretigo.La du ĉefaj flankoj kiu Sqoop adreso estas
a) Ŝarĝanta grandecon(Produktado) Datumo en Hadoop.
B) Aliranta pograndan datumon de mapo/reduktas aplikojn kuranta sur grandaj grapoloj.
Antaŭe ni uzis skribi/uzajn skribojn importi/eksportan datumon inter malsamaj sistemoj.Sed ĉi tiu procezo estas nekompetenta kaj ne certigas datuman konsistencon, Precizeco kaj aliaj kritikaj punktoj.
Sqoop uzas rekte antaŭan mekanismon translokigi datumon.La tuta dataset estas splitted en tranĉaĵoj kaj ĉiu tranĉaĵo estas mapo-nura laborposteno.Nun ĉiu mapo-nura laborposteno estas priresponda por translokiganta unu tranĉaĵon de la datumo-aro.
Kiel ni diskutis, Sqoop povas esti uzita importi datumon de RDBMS en HDFS.La enigo al la importaĵa procezo estas datumara tablo kaj Sqoop legas tablan disputon de disputo en HDFS.La eniga procezo estas elfarita en paralela do la produktado estos multoblaj dosieroj.Ĉi tiuj produktadaj dosieroj povas esti tekstaj dosieroj aŭ alia tipo de dosieroj enhavanta serialized datumo.
Estas kromprodukto de la Sqoop importaĵa procezo.Ĝi estas Java klaso kiu povas personigi unu disputon de la importita tablon.Ĉi tiu Java klaso estas uzita de la Sqoop ĝi mem durng importaĵa procezo.La fonta kodo de ĉi tiu kromprodukto Java klaso estas ankaŭ havebla por personigita uzon.
Post kiam pretiganta la importita datumon, Ĝi povas esti eksportita al ajna interrilata datumaro uzanta Sqoop. Sqoop legos aron de delimited tekstaj dosieroj de HDFS (En paralelo) Kaj inserti ilin kiel novaj disputoj al la
Cela tablo.Nun ĉi tiu datumo estas havebla por consumtion de la eksteraj aplikoj.
Sqoop ankaŭ provizas kelkajn komandajn ilojn akiri informon pri la databaes sur kiu ĝi estas laboranta.La listo de datumaro schemas, Tabloj ankaŭ povas esti vidita uzanta Sqoop komandoj.Sqoop ankaŭ provizas primitivan SQLan ekzekuton obuso.
Sqoop operacioj kiel importaĵo,Eksportaĵo,Koda generacio ktp. povas esti personigita.Por importaĵo, Disputo varias/kolumnojn povas esti specifita.La delimiters, Eskapaj karakteroj por dosiero bazita reprezentadon ankaŭ povas esti ŝanĝoj kiel por la postulo.La paka/klasa nomo de la produktita kodon ankaŭ povas esti personigita renkonti la aplikan postulon.
Sqoop konektiloj estas alia grava parto de la ilo.Konektiloj estas kromsoftvaraj eroj konstruita sur Sqoop’s etendaĵa kadro.Ĉi tiuj konektiloj povas esti aldonita ajna Sqoop instalaĵo kaj tiam datumoj povas esti translokigita inter Hadoop kaj ekstera vendejo.
Sqoop venas kun defaŭltaj konektiloj por diversaj popularaj datumaroj kiel MySQL, PostgreSQL, Oracle, SQLa Servilo kaj DB2.Sqoop ankaŭ inkluzivas kolektivan JDBCan konektilon kiu povas esti uzita konekti al ajna datumaro alirebla tra JDBC.
Konkludi ĉi tiun diskuton ni povas diri ke Sqoop povas esti uzita translokigi grandan datasets inter Hadoop kaj ekstera datastores efike.Pretere tio ĉi, Sqoop ankaŭ proponas multajn altnivelajn ĉefaĵojn kiel malsamaj datumaj formatoj,Compression,Customization,Laboranta kun demandoj ktp.
