Apache Hadoop is an open source big data processing platform. It has its own eco-system products to support various needs. სხვა და სხვა დიდი მონაცემები პროდუქცია / პლატფორმების შეგიძლიათ ინტეგრირება Hadoop და NoSQL ერთ პლატფორმა ასე რომ უზრუნველყოფს უკეთესი შესრულება და ერთი წყარო სიმართლე. მოდით აქვს შევხედოთ, თუ როგორ NoSQL და Hadoop შეუძლია იმუშაონ ერთად, დიდი მონაცემთა გამოწვევები.
ოდესმე ადამიანები ხშირად დაბნეული, რომ Hadoop არის ბაზაში, როგორც მას აქვს შენახვის სისტემა უკავშირდება. მაგრამ, მოდით, ნათლად ესმით, რომ Apache Hadoop არ არის მონაცემთა ბაზაში.
Apache Hadoop არის ღია დიდი მონაცემები პლატფორმა შედგება შემდეგი ძირითადი კომპონენტები.
- HDFS: ფაილი სისტემა ცნობილია როგორც Hadoop Distributed Fერთად System (HDFS)
- MapReduce: განაწილებული პროგრამირების ფარგლებში ცნობილია, როგორც MapReduce
- Hadoop საერთო: იგი შეიცავს ბიბლიოთეკების და კომუნალური, ხელი შეუწყოს დაკავშირებული Hadoop მოდულები.
- Hadoop ნართი: ეს ეწოდება "კიდევ ერთი რესურსი მომლაპარაკებელი". ეს, ძირითადად, რესურსების მართვის პლატფორმა მართვის გამოთვლითი რესურსების და დისპეჩერიზაციის ამოცანები.
Hadoop ასევე აქვს სხვა მასპინძელი პროგრამული უზრუნველყოფის პაკეტების მხარდასაჭერად ეკო სისტემის კომპონენტები. ფარგლებში მხარს უჭერს მონაცემთა დამუშავება ინტენსიური გავრცელება განაცხადების. ეს საშუალებას იძლევა განაცხადების მუშაობა გავრცელება გარემო შედგება ათასობით კვანძების და petabytes მონაცემები. კვანძების დამოუკიდებელი კომპიუტერები, ასევე ცნობილია, როგორც დაბალი ღირებულება სასაქონლო ტექნიკა. Hadoop კასეტური ნიშნავს ჯგუფის კომპიუტერული ერთეული (ძირითადად მანქანები) გაშვებული ზოგადი გარემოს Hadoop განაწილებული ფაილური სისტემა (HDFS) ხელი შეუწყოს სკალირების.
ფუნდამენტური დიზაინი მიზანი Hadoop დაძლევა ტექნიკის უკმარისობა. იმის გამო, რომ ტექნიკის წარუმატებლობის ძალიან გავრცელებული და ჩარჩო უნდა შეძლებს გადალახოს ეს ავტომატურად. , Hadoop ეკო სისტემის აღწევს ამ მიზანს მოდულები.
ძირითადი თვისებები Hadoop პლატფორმა განაწილებული შენახვისა და განაწილებული დამუშავების ფარგლებში. განაწილებული შენახვის (HDFS) გაყოფილი დიდი ფაილს მცირე ბლოკები (რა არის 64MB) და გავრცელება მთელს ეშვება კვანძების. გავრცელებული გენერაციის ფარგლებში ასევე ცნობილია როგორც "MapReduce’ მხარს უჭერს ძალიან ეფექტური პარალელური დამუშავება. ძირითადი ფუნქცია MapReduce ის არის, რომ, გემების კოდი (რომელიც ყველაფერს გააკეთებს დამუშავება) კვანძის სადაც მონაცემების ცხოვრობს. ეს არის ასევე მოუწოდა მონაცემების რაიონი ", სადაც მონაცემები რჩება თავისი თავდაპირველი და კოდი საქმე ის აკეთებს დამუშავება. ეს მართლაც რევოლუცია პარალელური დამუშავება domain.
ძირითადი კომპონენტების Hadoop (HDFS და MapReduce) გამომდინარეობს Google- ის ფაილური სისტემა (GFS) და Google- ის MapReduce. გარდა აღნიშნული კომპონენტების, Hadoop შედგება მთელი რიგი დაკავშირებული პროექტების, როგორიცაა Apache Hive, Apache HBase, და Apache ღორის და ა.შ..
On the other hand, NoSQL (განიმარტოს, როგორც "არა მხოლოდ SQL") არის არასამთავრობო რელატიური მონაცემთა ბაზის მართვის სისტემა. ეს არის განსაზღვრული არასამთავრობო ერთგულებას რელაციური მონაცემთა ბაზის მოდელი. NoSQL ბაზაში არ უპირველეს ყოვლისა, ეფუძნება მაგიდები.
NoSQL მონაცემთა ბაზის ტექნოლოგია უზრუნველყოფს ეფექტური მექანიზმის შენახვისა და საძიებო მონაცემები, მაგრამ ეს არ არის მსგავსი, რელატიური მოდელი. მთავარი დიზაინი მიზნების NoSQL მონაცემთა ბაზები მარტივი დიზაინი, ჰორიზონტალური სკალირების და უკეთესი ხელმისაწვდომობა. სახელი განმარტავს, როგორც "არა მხოლოდ SQL", ასე რომ მხარს უჭერს რამდენიმე SQL, როგორიცაა შეკითხვაზე ენებზე, როგორიცაა HQL ა.შ.. NoSQL მონაცემთა ბაზები ძირითადად გამოიყენება დიდი მონაცემები და ანალიტიკური პროგრამა.
So, მოკლედ, ჩვენ შეგვიძლია განვსაზღვროთ Hadoop და NoSQL შემდეგნაირად
- Hadoop: განაწილებული კომპიუტერული ფარგლებში.
- NoSQL: არასამთავრობო რელატიური მონაცემთა ბაზაში.
როგორ Hadoop და NoSQL შეუძლიათ იმუშაონ ერთად?
ზემოთ დისკუსია, ცხადია, რომ Hadoop და NoSQL არ არის იგივე, რაც, მაგრამ ისინი ორივე დაკავშირებული მონაცემების ინტენსიური გაანგარიშება. Hadoop ფარგლებში ძირითადად გამოიყენება გადამუშავების დიდი ოდენობით მონაცემები (ასევე ცნობილია, როგორც დიდი მონაცემები) და NoSQL განკუთვნილია ეფექტური შენახვა და კითხვის დიდი მოცულობის მონაცემთა. ასე რომ, ყოველთვის არის შანსი აქვს NoSQL როგორც ნაწილი Hadoop განხორციელება. უმეტეს შემთხვევაში, დამუშავებული მონაცემების Hadoop სისტემის ინახება NoSQL მონაცემთა ბაზის. მაგრამ ისინი ყოველთვის აქვს დამოუკიდებელი გამოყენების შემთხვევაში, რომელიც შეიძლება არ გვჭირდება მხარდაჭერა ორივე პლატფორმების. For example, თუ ჩვენ გვჭირდება მხოლოდ პარალელური დამუშავების დიდი მონაცემები და შენახვის იგი HDFS, მაშინ შეიძლება Hadoop მარტო ესეც საკმარისია. Similarly, მხოლოდ შენახვისა და საძიებო unstructured მონაცემები, ნებისმიერი NoSQL მონაცემთა ბაზის და მასთან დაკავშირებული შეკითხვის ენაზე ვერ აკმაყოფილებს მოთხოვნას.
ასე რომ, ინტეგრაციის NoSQL ერთად Hadoop ყოველთვის სასურველი გარემოს ფართომასშტაბიანი პარალელური დამუშავება და რეალურ დროში მონაცემთა ხელმისაწვდომობის. სხვადასხვა Hadoop დაფუძნებული პროდუქტების ინტეგრაციის Hadoop და NoSQL ერთ პლატფორმა. ეს 'in-Hadoop "NoSQL მონაცემთა ბაზის უზრუნველყოფს რეალურ დროში, ოპერატიული ანალიტიკა შესაძლებლობები. Hadoop პროდუქტები, მათ შორის Apache Hadoop არის საუკეთესო fit ბიზნესის კრიტიკული წარმოების განლაგდებიან. ეს პროდუქტი არ საჭიროებს რაიმე დამატებითი ადმინისტრაციული ამოცანები NoSQL მონაცემები. ინტეგრირებული პლატფორმა (NoSQL და Apache Hadoop) მხარს უჭერს მაღალი ხარისხის, ექსტრემალური scalability, მაღალი ხელმისაწვდომობა, snapshots, კატასტროფის აღდგენა, ინტეგრირებული უსაფრთხოების და მრავალი სხვა, განკუთვნილია ნებისმიერი პროდუქციის მზად ოპერატიული ანალიტიკა.
ასე რომ, შეგვიძლია დავასკვნათ, რომ Apache Hadoop და NoSQL არ არის იგივე ტექნოლოგია პლატფორმა, მაგრამ ისინი ყოველთვის რეკომენდირებულია როგორც ინტეგრირებული გარემოს შესაფერისი დიდი მონაცემები გადაწყვეტილებები.
