Apache Sqoop არის ინსტრუმენტი გამოიყენება გადაცემის მონაცემები / დან Hadoop განაწილებული ფაილური სისტემა. Hadoop არქიტექტურის შეგიძლიათ გადაამუშავებს BIG მონაცემები და ჩაწერს მას HDFS. მაგრამ თუ ჩვენ გვინდა გამოვიყენოთ, რომ მონაცემები, მაშინ ჩვენ უნდა გამოვიყენოთ ზოგიერთი ინსტრუმენტი იმპორტ / ექსპორტის იგი ეფექტურად. Apache Sqoop საშუალებას იძლევა ადვილად იმპორტი და ექსპორტი მონაცემების სტრუქტურირებული მონაცემები მაღაზიებში როგორიცაა relational მონაცემთა ბაზებთან, საწარმოს მონაცემები საწყობები, და NoSQL სისტემები.
Apache Sqoop ძალიან მნიშვნელოვანია, როდესაც ჩვენ ვიფიქროთ გამოყენებით Hadoop ამისთვის ანალიტიკა და მონაცემები processing.The ორი ძირითადი ასპექტები, რომელიც Sqoop მისამართი are
a) იტვირთება ნაყარი(წარმოების) მონაცემები შევიდა Hadoop.
ბ) წვდომის ნაყარი მონაცემთა რუკა / შეამციროს განაცხადების გაშვებული დიდი მტევანი.
მანამდე ჩვენ იწერებოდა / გამოიყენოთ სკრიპტები იმპორტ / ექსპორტის მონაცემები შორის სხვადასხვა systems.But ეს პროცესი არაეფექტური და არ უზრუნველყოფს მონაცემების თანმიმდევრულობა, სიზუსტე და სხვა კრიტიკული რაოდენობა.
Sqoop იყენებს სწორი ნაბიჯია მექანიზმი გადარიცხოს data.The მთელი მონაცემთა ბაზის არის splitted შევიდა ნაჭერი და თითოეული ნაჭერი არის map-მხოლოდ job.Now ყოველ რუკა მხოლოდ სამუშაო არის პასუხისმგებელი გადაცემის ერთ ნაჭერი მონაცემები-set.
როგორც ჩვენ განვიხილეთ, Sqoop შეიძლება გამოყენებულ იქნას მონაცემების იმპორტი RDBMS შევიდა HDFS.The შეყვანის იმპორტის პროცესის არის მონაცემთა ბაზის ცხრილში და Sqoop ნათქვამია გრაფაში მიერ ზედიზედ შევიდა HDFS.The შეყვანის პროცესი ხორციელდება პარალელურად ასე გამომავალი იქნება მრავალჯერადი files.These გამომავალი ფაილი შეიძლება ტექსტური ფაილი ან სხვა ტიპის ფაილი შეიცავს serialized მონაცემები.
არსებობს პროდუქტია Sqoop იმპორტი process.It არის Java კლასის რომელსაც შეუძლია encapsulate ერთ გრაფაში იმპორტირებული table.This ჯავის კლასის გამოიყენება Sqoop თავად durng იმპორტი process.The კოდის ამ შუალედური პროდუქტის ჯავის კლასის .
შემდეგ დამუშავების იმპორტირებული მონაცემები, ეს შეიძლება ექსპორტირებული იქნას ნებისმიერი relational მონაცემთა ბაზის გამოყენებით Sqoop. Sqoop წაიკითხავს კომპლექტი delimited ტექსტი ფაილი HDFS (პარალელურად) და ჩადეთ მათ ახალი რიგები, რათა
სამიზნე table.Now ეს მონაცემები ხელმისაწვდომია consumtion მიერ გარე განაცხადების.
Sqoop ასევე შეიცავს რამოდენიმე ბრძანების კომუნალური მოპოვება databaes რომელსაც ის working.The სიაში მონაცემთა ბაზის სქემები, მაგიდები ასევე შეიძლება გახსნილია გამოყენებით Sqoop commands.Sqoop ასევე უზრუნველყოფს პრიმიტიული SQL შესრულების შელი.
Sqoop ოპერაციების მოსწონს იმპორტი,ექსპორტი,კოდი თაობის და ა.შ. შეიძლება იყოს customized.For იმპორტი, ზედიზედ მერყეობს / სვეტების შეიძლება specified.The delimiters, გაქცევა სიმბოლოები ფაილის დაფუძნებული წარმომადგენლობა შეიძლება ცვლილებები როგორც პოსტი requirement.The პაკეტი / კლასის სახელით გენერირებული კოდის ასევე შეიძლება მორგებულია შეხვდება განაცხადის მოთხოვნა.
Sqoop კონექტორები კიდევ ერთი მნიშვნელოვანი ნაწილი tool.Connectors are მოდული კომპონენტები აგებული Sqoop მისი გაგრძელების framework.These კონექტორები შეიძლება დაემატოს ნებისმიერი Sqoop ინსტალაცია და შემდეგ მონაცემთა გადაცემის შორის Hadoop და გარე შენახვის.
Sqoop გააჩნია რა კონექტორები სხვადასხვა პოპულარული მონაცემთა ბაზების როგორიცაა MySQL, PostgreSQL, Oracle, SQL Server და DB2.Sqoop ასევე მოიცავს generic JDBC კონექტორი რომელიც შეიძლება გამოყენებულ იქნას, რათა დაუკავშირდეთ ნებისმიერი მონაცემთა ბაზაში ხელმისაწვდომი საშუალებით JDBC.
დადონ ამ დისკუსიის შეგვიძლია ვთქვათ, რომ Sqoop შეიძლება გამოყენებულ გადარიცხოს დიდი datasets შორის Hadoop და გარე datastores efficiently.Beyond ამ, Sqoop ასევე გთავაზობთ ბევრ მოწინავე თვისებები, როგორიცაა სხვადასხვა მონაცემები ფორმატების,შეკუმშვის,დაკონფიგურირება,მუშაობის queries ა.შ..
