Apache Sqoop մի գործիք, որն օգտագործվում է տվյալներ փոխանցելու համար / Hadoop բաշխված ֆայլային համակարգ. Hadoop Ճարտարապետություն կարող է մշակել եւ պահպանել այն տվյալների ՄԵԾ HDFS. Սակայն, եթե մենք ուզում ենք օգտագործել այդ տվյալներին, ապա մենք պետք է օգտագործել որոշ գործիքը IMPORT / EXPORT դա արդյունավետ. Apache Sqoop թույլ է տալիս հեշտությամբ ներմուծման եւ արտահանման տվյալների Կառուցվածքային տվյալների խանութներում, ինչպիսիք են տվյալների բազաների Հարաբերական, enterprise տվյալների պահեստների, եւ NoSQL համակարգեր.
Apache Sqoop շատ կարեւոր է, երբ մենք մտածենք, օգտագործելով Hadoop համար Վերլուծություն եւ տվյալների processing.The երկու հիմնական ասպեկտները, որոնք Sqoop Հասցեների են
ա) Բեռնվում հիմնական մասը(արտադրություն) տվյալների մեջ Hadoop.
բ) Նավաբեռ տվյալներ մուտք գործելը քարտեզ / նվազեցման ծրագրերը աշխատում է խոշոր կլաստերների.
Ավելի վաղ էինք գրել / սցենար է օգտագործել IMPORT / EXPORT տվյալների միջեւ տարբեր systems.But այդ գործընթացը անարդյունավետ է եւ չի ապահովում տվյալների հետեւողականությունը, ճշտությունը եւ այլ կարեւորագույն կետերը.
Sqoop օգտագործում է ուղիղ առաջ մեխանիզմ տեղափոխել data.The ամբողջ dataset է splitted մեջ շերտ, եւ յուրաքանչյուր կտոր է ընդամենը քարտեզ job.Now Յուրաքանչյուր քարտեզ միայն աշխատանքի համար պատասխանատու է տեղափոխել մեկ կտոր է Տվյալների փաթեթի.
Երբ մենք քննարկել ենք, Sqoop կարող է օգտագործվել ներմուծել տվյալների RDBMS մեջ HDFS.The ներդրում ներմուծման գործընթացի մի տվյալների բազայի սեղան եւ Sqoop կարդում է սեղանի շարքում կողմից անընդմեջ մեջ HDFS.The մուտքագրման գործընթացի կատարվում զուգահեռ, որպեսզի արդյունքը կլինի բազմակի files.These արտադրանքը ֆայլերը կարող են լինել տեքստային ֆայլեր կամ այլ տեսակի ֆայլերի պարունակող serialized տվյալները.
Կա մի կողմից `արտադրանքի եւ ներմուծման Sqoop process.It մի խավ, որը կարող է Java encapsulate մեկ շարքում ներկրվող table.This Java դաս, որն օգտագործվում է հենց Sqoop durng ներմուծման process.The ելակետային կոդը այս ըստ արտադրանքի Class Java .
Հետո նոր ներմուծված տվյալների, այն կարող է արտահանվել: Ինչպես ցանկացած Հարաբերական բազա using Sqoop. Sqoop կընթերցի մի շարք պայմաններ է տեքստային ֆայլեր HDFS (զուգահեռաբար) եւ տեղադրեք դրանք նոր շարքերում է
թիրախ table.Now այդ տվյալները պետք է մատչելի consumtion կողմից արտաքին հայտերի.
Sqoop տրամադրում է նաեւ որոշ կոմունալ ծառայությունների հրամանի մասին տեղեկություններ ստանալու այն databaes այն ցանկը working.The բազայի schemas, սեղաններ կարող է նաեւ դիտվել օգտագործելով Sqoop commands.Sqoop նաեւ պարզունակ SQL կատարման կմախք.
Sqoop գործառնություններ, ինչպիսիք են ներմուծման,արտահանում,կոդը սերունդ եւ այլն, կարող է լինել customized.For ներմուծումը, row միջակայքերը / սյուներ կարող specified.The delimiters, խուսափելու համար նիշ ֆայլի վրա հիմնված ներկայացուցչությունը կարող են նաեւ փոփոխություններ համաձայն requirement.The Ծանրոցների / դասի անունը առաջացած օրենսգրքով կարելի է նաեւ ընտրակայվել հանդիպելու դիմումի պահանջը.
Sqoop միացումներ են եւս մեկ կարեւոր մասն են tool.Connectors plugin բաղադրիչներ կառուցվել Sqoop ի ընդլայնման framework.These միակցիչների կարող է ավելացվել ցանկացած Sqoop տեղադրում եւ այդ տվյալները կարող են փոխանցվել միջեւ Hadoop եւ արտաքին ԽԱՆՈՒԹ.
Sqoop գալիս հետ լռելյայն միակցիչների տարբեր հայտնի տվյալների բազաների, ինչպես օրինակ MySQL, PostgreSQL, Պատգամախոս, SQL Server եւ DB2.Sqoop ներառում է նաեւ ընդհանուր JDBC միակցիչին, որոնք կարող են օգտագործվել է միացնել ցանկացած բազայի միջոցով մատչելի JDBC.
Եզրափակելով այս քննարկումը կարող ենք ասել, որ կարող է օգտագործվել Sqoop տեղափոխել մեծ տվյալների հավաքածուները միջեւ Hadoop եւ արտաքին datastores efficiently.Beyond սա, Sqoop նաեւ առաջարկում է բազմաթիվ առաջադեմ առանձնահատկություններ, ինչպիսիք են տարբեր տվյալների ձեւաչափերի,սեղմում,Customization,աշխատում է հարցումներ եւ այլն.
