прадзівам
Агляд: Так як Hadoop версіі 0.23, MapReduce значна змяніўся. У цяперашні час вядома, як MapReduce 2.0 or прадзівам. MapReduce 2.0 заснавана на канцэпцыі расколваць дзве асноўныя функцыянальныя магчымасці праца трэкера - кіраванне рэсурсамі і планаванне работы у асобныя дэманамі.
In this document, Я буду казаць аб пражы / MapReduce 2.0 і функцыянальныя магчымасці, якія яна прадстаўляе ў дэталях.
Увядзенне: прадзівам азначае "іі Another Resource Negotiator ". Прадзівам / MapReduce2 была ўведзена ў Hadoop 2.0. Прадзівам ўяўляе сабой пласт, які аддзяляе Ўзровень кіравання рэсурсамі і Апрацоўваючы кампаненты пласта. Неабходнасць у тым, каб мець больш шырокі спектр мадэлі ўзаемадзеяння дадзеных, якія захоўваюцца ў HDFS гэта значыць пасля Map-Reduce пласта. На прыведзеным ніжэй малюнку тлумачыць схему архітэктуры Hadoop 1.0 і Hadoop 2.0 / прадзівам.
Hadoop 1.0 і 2.0 architecture
Figure 1: Hadoop 1.0 і 2.0 architecture
Прадзівам бярэ на сябе задачы па кіраванні рэсурсамі, якія былі выкананы на карце зніжэння ў больш ранняй версіі. Гэта дазваляе паменшыць карту рухавік, каб клапаціцца аб сваёй уласнай задачы, якая апрацоўвае дадзеныя. Маючы пражу пласт, дазваляе нам запускаць некалькі прыкладанняў на Hadoop, якія падзяляюць пласт кіравання агульных рэсурсаў.
асаблівасці прадзівам:
Прадзівам валодае здольнасцю ўзмацняць моц кластарных вылічэнняў з выкарыстаннем Hadoop, падаючы наступныя магчымасці -
- маштабаванасць - Паколькі асноўная ўвага пражу планавання, ён можа кіраваць гэтымі велізарнымі кластары больш эфектыўна. Здольнасць апрацоўваць дадзеныя хутка ідзе ўверх.
- Сумяшчальнасць з існуючай карты Знізіць на аснове прыкладання - Прадзівам можна лёгка наладзіць і запусціць існуючую карту Паменшыць прыкладання без якіх-небудзь перашкод або змены ў іх існуючым працэсе.
- Больш эфектыўнае выкарыстанне кластара - Прадзівам Resource Manager аптымізуе выкарыстанне кластара ў адпаведнасці з зададзенымі крытэрамі e.g. гарантыі ёмістасці, справядлівасць, і іншыя пагаднення аб узроўні абслугоўвання.
- Падтрымка дадатковых працоўных нагрузак асобна ад карты Паменшыць - Адкрытыя мадэлі праграмавання e.g. апрацоўкі графаў і ітэрацыйныя modelings ў цяперашні час з'яўляюцца часткай апрацоўкі дадзеных. Гэтыя новыя мадэлі лёгка інтэгруюцца з прадзівам, якая дапамагае вышэйшага кіраўніцтва ў любой арганізацыі, каб рэалізаваць свае дадзеныя ў рэжыме рэальнага часу і іншыя тэндэнцыі рынку.
- спрыт - Прадзівам палягчае працу пласта кіравання рэсурсамі ў больш гнуткай манеры.
Кампаненты асновы YARN:
Нітка на аснове базавай канцэпцыі - "Падзяляй і ўладар’. Прадзівам падзяляе дзве асноўныя абавязкі працы трэкера і задач трэкера ў наступныя асобныя юрыдычныя асобы -
- Глабальны менеджэр рэсурсаў
- Майстар прыкладанняў для кожнага прыкладання
- Дыспетчар вузла на вузел кіраванага прылады
- Кантэйнер для кожнага прыкладання, якія працуюць на мэнэджэра Node.
Як прадзівам працы?
The дыспетчар рэсурсаў і Node Manager разам утвараюць новы, і агульныя, сістэма. Гэтая сістэма выкарыстоўваецца для кіравання прыкладаннямі ў размеркаванай манеры. The дыспетчар рэсурсаў з'яўляецца вышэйшым органам, які кантралюе рэсурсы сярод усіх прыкладанняў у сістэме. The майстар прыкладанняў для кожнага прыкладання з'яўляецца асновай канкрэтнай сутнасці і займае задача перамоваў рэсурсаў з дыспетчар рэсурсаў і працаваць з Node Manager выконваць і кантраляваць іншыя задачы кампанентаў.
дыспетчар рэсурсаў: Менеджэр рэсурсаў мае ўбудаваны планавальнік, якая размяркоўвае рэсурсы для запуску прыкладанняў, у адпаведнасці з пэўным карыстальнікам абмежаванняў, такіх як магутнасцяў чарзе, прыстасаваныя абмежаванні і г.д.. Планавальнік выконвае сваю задачу планавання, заснаваны на патрэбнасцях у рэсурсах прыкладанняў. Менеджэр Вузел за машынай раб, якая запускае кантэйнер прыкладання, сочыць за іх выкарыстанне рэсурсаў (цэнтральны працэсар, памяць, дыск, сетка) і паведамляе той жа мэнэджару рэсурсаў. Кожны Application Master адказвае за перамовы адпаведных кантэйнераў рэсурсаў ад планавальніка, адсочвання іх статусу, і кантроль за іх прагрэсам. З пункту гледжання сістэмы, Заяву Master з'яўляецца кантэйнерам, які мае кантроль над усім дадаткам.
Менеджэр рэсурсаў ляжыць у аснове іерархіі YARN. Гэта тая сутнасць, якая кіруе ўсім кластарам, а таксама кантралюе прызначэнне прыкладанняў іншых рэсурсаў. Менеджэр рэсурсаў клапоціцца аб падзеле рэсурсаў e.g. вылічэнне, памяць, прапускной здольнасці і г.д.. для ўсіх менеджэраў Node ніжэй яго. Менеджэр рэсурсаў таксама бярэ на сябе задачу выдзялення рэсурсаў на дадатак Masters і кантралюе асноўныя прыкладання на вузле менеджэраў. Такім чынам, прыкладанне Майстар бярэ працу задач трэкера і менеджэр рэсурсаў займае ролю Tracker працы.
майстар прыкладанняў: Прымяненне Master адказвае за кіраванне кожным і кожны асобнік прыкладанняў, які працуе ў пражу. Прымяненне Майстар робіць ўзгадненне рэсурсаў ад дыспетчара рэсурсаў і, з дапамогай дыспетчара вузла, ажыццяўляе маніторынг выканання і спажыванне рэсурсаў кантэйнераў e.g. выдзялення рэсурсаў ЦП, памяць, і г.д..
Node Manager: Кіраўнік вузел адказвае за кіраванне кожным і кожны вузел у межах кластара YARN. Менеджэр Node прадастаўляе паслугі па вузлах у кластары. Гэта разнастайнасць паслуг, пачынаючы ад маніторынгу кіравання кантэйнера і яго жыццёвы цыкл для маніторынгу рэсурсаў і падтрыманне адсочваць стан здароўя і выкарыстанне рэсурсаў кожнага вузла. У адрозненне ад версіі Map Reduce 1.0, які выкарыстоўваецца для кіравання выкананнем карты і паменшыць задачы праз слоты, Кіраўнік вузел кіруе абстрактныя кантэйнеры, які вылучае і ўяўляе рэсурсы, даступныя для кожнага вузла для канкрэтнага прымянення. Прадзівам таксама выкарыстоўвае пласт HDFS, with the master Name Node for metadata services and Data Node for replicated storage services across a cluster.
YARN cluster: YARN cluster comes in to the picture whenever there is a request from a client of any application. The Resource Manager starts negotiating for the necessary resources for the container and invokes an Application Master. This represents that the application is submitted. Using a resource-request protocol, the Application Master negotiates on the resource containers for the application at each node. Once the application’s execution is over, the Application Master keeps a watch on the container till completion. Once the application is completed, the Application Master de registers the containers from the Resource Manager, and then the cycle completes.
Difference between MapReduce1 and MapReduce2/YARN: It is important to note that the earlier version of Hadoop architecture was highly constrained via the Job Tracker. This Job Tracker was responsible for managing the resources and scheduling jobs across the cluster. The current YARN architecture allows the new Resource Manager to manage the usage of resources across all applications. While the Application Masters takes up the responsibility of managing the job execution. This approach improves the ability to scale up the Hadoop clusters to a much larger configuration than it was previously possible. In addition to this, YARN permits parallel execution of a range of programming models. This includes graph processing, iterative processing, machine learning, and general cluster computing.
With the help of YARN, we can create more complex distributed applications.
Summary: MapReduce framework is one of the most important parts of big data processing. In earlier version of MapReduce, the components were designed to address basic needs of processing and resource management. After that it has evolved to a much improved version know as MapReduce2/YARN, providing improved features and functionalities.
Рэзюмуецца нашу дыскусію аб выглядзе наступных куль -
- Прадзівам азначае 'Яшчэ адзін рэсурс Перамоўшчык’.
- Прадзівам ўводзіцца разам з Hadoop 2.0.
- Прадзівам прадастаўляе наступныя магчымасці -
- Scalability
- Сумяшчальнасць з існуючай карты Знізіць на аснове прымянення
- Больш эфектыўнае выкарыстанне кластара
- Падтрымка дадатковых працоўных нагрузак асобна ад карты Паменшыць
- спрытнасць
- Прадзівам падзяляе дзве асноўныя абавязкі працы трэкера і задач трэкера у асобныя юрыдычныя асобы, як паказана ніжэй.
- Глабальны менеджэр рэсурсаў.
- Майстар прыкладанняў для кожнага прыкладання.
- Дыспетчар вузла на вузел кіраванага прылады.
- Кантэйнер для кожнага прыкладання, якія працуюць на мэнэджэра Node.
