ŜPINITAĴO
Superrigardo: Pro tio ke hadoop versio 0.23, MapReduce ŝanĝis grave. Ĝi estas nun sciita kiel MapReduce 2.0 Aŭ ŜPINITAĴO. MapReduce 2.0 Estas bazita sur la koncepto fendi la du gravaj funkcioj de Laborpostena spuristo – Rimeda administrado Kaj Laborposteno enhorariganta En apartaj dajmonoj.
En ĉi tiu dokumento, Mi parolos pri la ŜPINITAĴO/MapReduce 2.0 kaj la funkcioj ĝi prezentas en detalo.
Enkonduko: ŜPINITAĴO Starejoj por “YEt ANother REsource NEgotiator”. ŜPINITAĴO/MapReduce2 estis enkondukita en Hadoop 2.0. ŜPINITAĴO estas tavolo kiu apartigas la Rimeda administrado tavolo Kaj la Pretiganta eran tavolon. La bezono estis havi pli larĝan aron de interrilatada modelo por la datumo entenita en HDFS kiu estas post la Mapo-redukti tavolon. La sekvanta bildo klarigas la arkitekturan skemon de Hadoop 1.0 Kaj Hadoop 2.0/ŜPINITAĴO.
Hadoop 1.0 Kaj 2.0 Arkitekturo
Cifero 1: Hadoop 1.0 Kaj 2.0 Arkitekturo
ŜPINITAĴO prizorgas de la rimedaj administradaj taskoj kiu estis elfarita de la Mapo reduktas en la pli frua versio. Tio ĉi permesas la Mapon reduktas motoron prizorgi de ĝia propra tasko kiu estas pretiganta datumon. Havanta la ŜPINITAĴAN tavolon, Permesas nin kuri multoblajn aplikojn sur Hadoop dividanta oftan rimedan administradan tavolon.
Ĉefaĵoj de ŜPINITAĴO:
ŜPINITAĴO havas la kapablecon plibonigi la potencon de grapola komputiko uzanta Hadoop de donanta la sekvantajn ĉefaĵojn –
- Scalability – Pro tio ke la primara fokuso de ŜPINITAĴO estas enhorariganta, Ĝi povas administri ĉi tiujn grandegajn grapolojn pli efike. La kapableco pretigi datumon iras supre rapide.
- Kongrueco kun ekzistanta Mapon Reduktas bazita aplikon – ŜPINITAĴO facile povas formi kaj kuri la ekzistantan Mapon Reduktas aplikon sen ajna hindrance aŭ modifaĵo en ilia ekzistanta procezo.
- Pli bona Grapola Utiligo – ŜPINITAĴA Rimedo Manaĝero optimumigas la grapolan utiligon kiel por la donita kriteriojn ekz. Kapacitaj garantioj, Justeco, Kaj aliaj Servaj Nivelaj Interkonsentoj.
- Subteno por suplementa workloads krom Mapo Reduktas – Okazontaj programaraj modeloj ekz. grafea pretigo kaj iterative modelings estas nun parto de datuma pretigo. Ĉi tiuj novaj modeloj estas facile integrigita kun ŜPINITAĴO kiu helpas la altrangan administradon en ajna organizo konscii ilian veran tempan datumon kaj aliaj merkataj tendencoj.
- Facilmoveco – ŜPINITAĴO faciligas la operacion de la rimeda administrada tavolo en pli Agile maniero.
Eroj de ŜPINITAĴA kadro:
ŜPINITAĴO estas bazita sur la baza koncepto de – ‘disiĝo kaj Regulo'. ŜPINITAĴO fendas la du gravaj respondecoj de Job spuristo kaj taska spuristo en la sekvantaj apartaj entoj –
- Tutmonda Rimeda Manaĝero
- Aplika Mastro por apliko
- Noda Manaĝero por noda sklavo
- Ujo por aplika kurado sur Noda manaĝero.
Kiel ŜPINITAĴAJ laboroj?
La Rimeda Manaĝero Kaj la Noda Manaĝero kune formi la novan, Kaj kolektiva, Sistemo. Ĉi tiu sistemo estas uzita administri aplikojn en distribuita manieron. La Rimeda Manaĝero Estas la supera aŭtoritato kiu kontrolas la rimedojn inter ĉiuj la aplikoj en la sistemo. La Aplika Mastro Por-apliko estas kadro-specifa ento kaj prenas supre la taskon de intertraktado de rimedoj kun la Rimeda Manaĝero Kaj laboranta kun la Noda Manaĝero Efektivigi kaj monitori la aliaj eraj taskoj.
Rimeda Manaĝero: La Rimeda Manaĝero havas inbuilt scheduler, Kiu asignas rimedojn al la fluaj aplikoj, Kiel por la uzanto difinita limojn kiel atendovicaj kapacitoj, Uzanto-limoj ktp. La scheduler elfaras ĝian taskon enhorarigi bazita sur la rimedaj postuloj de la aplikoj. La Noda Manaĝero estas por-maŝina sklavo, Kiu lanĉas la ujon de la apliko, Monitoras ilian rimedan uzadon (Cpu, Memoro, Disko, Reto) Kaj raportas la saman al la Rimeda Manaĝero. Ĉiu Aplika Mastro estas priresponda por negocanta la konvenajn rimedajn ujojn de la scheduler, Spuranta ilian statuson, Kaj monitoranta ilian progreson. De la sistema punkto de vido, La Aplika Mastro estas la ujo kiu havas la kontrolon de la tuta apliko.
La Rimedaj Manaĝeraj mensogoj ĉe la radiko de la ŜPINITAĴA hierarkio. Tio ĉi estas la ento kiu regas la tutan grapolon kaj ankaŭ kontrolas la komision de aplikoj de la aliaj rimedoj. La Rimeda Manaĝero prizorgas de divido de rimedoj ekz. Komputi, Memoro, bandwidth ktp. Al ĉiuj la Nodaj Manaĝeroj sub ĝi. La Rimeda Manaĝero ankaŭ prenas supre la taskon asigni rimedojn al la Aplikaj Mastroj kaj monitoras la fundamentajn aplikojn sur la Nodaj Manaĝeroj. Kaj tiel la Aplika Mastro prenas supre la laborpostenon de taska spuristo kaj la Rimeda Manaĝero prenas supre la rolon de la Laborpostena Spuristo.
Aplika Mastro: La Aplika Mastro estas priresponda por administranta ĉiun kaj ĉiun okazon de aplikoj kiu kuras ene de la ŜPINITAĴO. La Aplika Mastro faras la intertraktadon de la rimedoj de la Rimeda Manaĝero kaj, Uzanta la Nodan Manaĝeron, Monitoras la ekzekuton kaj rimedan konsumon de ujoj ekz. Rimedaj asignoj de CPU, Memoro, Ktp.
Noda Manaĝero: La Noda Manaĝero estas priresponda por administranta ĉiun kaj ĉiun nodon ene de la ŜPINITAĴA grapolo. La Noda Manaĝero provizas la servojn por-nodo ene de la grapolo. Ĉi tiuj estas vario de servoj varianta de monitoranta la administradon de ujo kaj ĝia viva ciklo al monitoranta la rimedojn kaj tenanta vojeton de la sano kaj uzado de rimedoj de ĉiu nodo. En kontrasto al la Mapo Reduktas version 1.0, Kiu uzis administri la ekzekuton de mapo kaj redukti taskojn tra eroj, La Noda Manaĝero administras abstraktajn ujojn, Kiu asignas kaj reprezentas rimedojn por nodo havebla por aparta apliko. ŜPINITAĴO ankaŭ uzas la HDFSan tavolon, Kun la mastra Noma Nodo por metadata servoj kaj Datuma Nodo por reproduktita tenadajn servojn trans grapolo.
ŜPINITAĴA grapolo: ŜPINITAĴA grapolo eniras al la bildo whenever estas peto de kliento de ajna apliko. La Rimedaj Manaĝeraj komencoj negocanta por la necesaj rimedoj por la ujo kaj alvokas Aplikan Mastron. Tio ĉi reprezentas ke la apliko estas submetiĝita. Uzanta rimedon-peta protokolo, La Aplika Mastro negocas sur la rimedaj ujoj por la apliko ĉe ĉiu nodo. Unufoje la ekzekuto de la apliko finas, La Aplika Mastro tenas gvaton sur la uja kasregistrila kompletiĝo. Unufoje la apliko estas kompletigita, La Aplika Mastro de registras la ujojn de la Rimeda Manaĝero, Kaj tiam la ciklo kompletigas.
Diferenco inter MapReduce1 kaj MapReduce2/ŜPINITAĴO: Ĝi estas grava noti ke la pli frua versio de Hadoop arkitekturo estis tre limigita tra la Laborpostena Spuristo. Ĉi tiu Laborpostena Spuristo estis priresponda por administranta la rimedojn kaj enhorariganta laborpostenojn trans la grapolo. La nuna ŜPINITAĴA arkitekturo permesas la novan Rimedan Manaĝeron administri la uzadon de rimedoj trans ĉiuj aplikoj. Dum la Aplikaj Mastroj prenas supre la respondecon administri la laborpostenan ekzekuton. Ĉi tiu alproksimiĝo plibonigas la kapablecon grimpi supre la Hadoop grapoloj al multe da pli granda konfiguracio ol ĝi estis antaŭe ebla. Krom tio ĉi, ŜPINITAĴO permesas paralelan ekzekuton de gamo de programaraj modeloj. Tio ĉi inkluzivas grafean pretigon, Tio ĉi inkluzivas grafean pretigon, Maŝina lernado, Kaj ĝenerala grapola komputiko.
Kun la helpo de ŜPINITAĴO, Ni povas krei pli kompleksan distribuita aplikojn.
Resuma: MapReduce kadro estas unu el la plej gravaj partoj de granda datuma pretigo. En pli frua versio de MapReduce, La eroj estis desegnita trakti bazajn bezonojn de pretigo kaj rimeda administrado. Post kiam kiu ĝi evoluis al tre plibonigita version scias kiel MapReduce2/ŜPINITAĴO, Provizanta plibonigita ĉefaĵojn kaj funkciojn.
Lasi nin resumi nian diskuton sur la formo sekvi kuglojn –
- ŜPINITAĴAJ starejoj por ‘Sed tamen Alia Rimeda Intertraktanto'.
- ŜPINITAĴO estas enkondukita kune kun Hadoop 2.0.
- ŜPINITAĴO provizas la sekvantajn ĉefaĵojn –
- Scalability
- Kongrueco kun ekzistanta Mapon Reduktas bazita aplikon
- Pli bona Grapola Utiligo
- Subteno por suplementa workloads krom Mapo Reduktas
- Facilmoveco
- ŜPINITAĴO fendas la du gravaj respondecoj de Job spuristo kaj taska spuristo en apartaj entoj kiel menciita sub.
- Tutmonda Rimeda Manaĝero.
- Aplika Mastro por apliko.
- Noda Manaĝero por noda sklavo.
- Ujo por aplika kurado sur Noda manaĝero.
