Superrigardo: Ni estas bone konsciaj de la ĉefaĵoj de Hadoop kaj HDFS. En ĉi tiu dokumento ni parolos pri la HDFSa federacio kiu helpas nin plibonigi ekzistantan HDFS arkitekturo. Ĝi provizas klaran apartigon inter namespace kaj tenado tiel ebligas scalability kaj izolecon ĉe la grapola nivelo.
Enkonduko: Hadoop federacio apartigas la Namespace Tavolo Kaj Tenada tavolo. Ĝi ebligas la blokan tenadan tavolon. Ĝi ankaŭ vastigas la arkitekturon de ekzistanta HDFS grapolo permesi novajn efektivigojn kaj uzajn kazojn. La nuna HDFSa arkitekturo havas du tavolojn –
- Namespace – Ĉi tiu tavolo administras dosierojn, adresaroj kaj blokoj. Ĉi tiu tavolo subtenas la bazajn dosierajn sistemajn operaciojn ekz. Enlistiganta de dosieroj, Kreo de dosieroj, Modifaĵo de dosieroj kaj forigo de dosieroj kaj tekoj.
- Bloka Tenado – Ĉi tiu tavolo havas du partojn –
- Bloka Administrado Tio ĉi administras la datanodes en la grapolo kaj provizas operaciojn kiel kreo, Forigo, modifaĵo kaj serĉo. Ĝi ankaŭ prizorgas de la reproduktada administrado.
- Fizika Tenado Tio ĉi entenas la blokojn kaj provizas aliron por legita aŭ skribi operaciojn.
HDFSa grapolo
Cifero 1: HDFSa grapolo
En la nuna HDFSa arkitekturo, Ni havas nur unu namespace por la tuta grapolo kiu estas administrita de ununura noma nodo. Uzanta ĉi tiun alproksimiĝon ĝi fariĝas pli facila efektivigi la HDFSan grapolon. Tio ĉi tavolanta de arkitekturo laboras bone por pli malgrandaj aranĝoj dum por pli grandaj organizoj kie grandega volumo de datumaj bezonoj esti prizorgita ĉe rapida rapido, Ekz. yahoo kaj Facebook ĝi estis trovita ke ĉi tiu alproksimiĝo havas kelkajn limojn kiu estas pritraktita de la Hadoop federacio. Tiel Hadoop federacio povas esti difinita kiel la altnivela arkitekturo venki la limojn de nuna HDFSa efektivigo.
Lasi nin kontroli la limojn kiel klarigita sub –
- Streĉe kuplita Blokan Tenadon kaj Namespace – En la nuna arkitekturo la bloka tenado kaj la Namespace estas streĉe kuplita kiun faras la sinsekvajn efektivigojn de nomaj nodoj defianta kaj restriktas aliajn servojn uzi la blokan tenadon rekte.
- Namespace Scalability – La HDFSa grapolo grimpas horizontale de aldonanta datanodes sed ni ne povas aldoni pli namespace al ekzistanta grapolo horizontale. Ni povas grimpi namespace vertikale sur ununura namenode. La namenode entenas la kompletan dosieran sistemon metadata ene de ĝia memoro kiu limigas la nombron de blokoj, dosieroj kaj adresaroj esti subtenita sur la dosiera sistemo kiu devas esti akomodita en la memoro de la ununura namenode.
- Elfaro – La nunaj dosieraj sistemaj operacioj estas limigita al la throughput de ununura noma nodo kiu nuntempe subtenoj 60000 Samtempaj taskoj. Sed la nova venanta mapo reduktas de Apache havos subtenon por pli da ol 100000 Samtempaj taskoj kaj tiel postulos multoblajn nodojn.
- Izoleco – En ĝenerala la HDFSaj deplojoj estas haveblaj sur multi-luanta medio kie ununura grapolo estas dividita de multoblaj organizoj. En ĉi tiu aranĝo aparta namespace ne eblas por unu apliko aŭ unu organizo.
HDFSa Federacio:
Hadoop federacio permesas grimpanta la noman servon horizontale. Ĝi uzas pluraj namenodes aŭ namespaces kiu estas sendependa de ĉiu alia. Ĉi tiuj sendependa namenodes estas Federated T.e. Ili ne postulas Entombigi kunordigon. Ĉi tiuj datanodes estas uzita kiel ofta tenado de ĉiuj la namenodes. Ĉiu datanode estas registrita kun ĉiuj la namenodes en la grapolo. Ĉi tiuj datanodes sendi periodajn raportojn kaj respondas al la komandoj de la nomaj nodoj. Ni havas blokan naĝejon kiu estas aro de blokoj kiu apartenas al ununura namespace. En grapolo, La datanodes vendejoj blokas por ĉiuj la blokaj naĝejoj. Ĉiu bloka naĝejo estas administrita sendepende. Tio ĉi ebligas la noman spacon produkti blokajn identigaĵojn por novaj blokoj sen informanta alia namespaces. Se unu namenode malsukcesas por ajna kialo, La datanode daŭrigas servanta de alia namenodes.
Unu namespace kaj ĝia bloko estas kolektive vokita Namespace Volumo. Kiam namespace aŭ namenode estas forigita la respondan blokan naĝejon ĉe la datanode estas forigita aŭtomate. En la procezo de grapolo supre-gradeco, Ĉiu namespace volumo estas altgradigita kiel unuo.
HDFSa federacia arkitekturo
Cifero 2: HDFSa federacia arkitekturo
Utiloj de Hadoop Federacio:
Hadoop federacio venas supre kun kelkaj avantaĝoj kaj utiloj kiu estas enlistigita kiel nesufiĉe –
- Scalability kaj Izoleco – Multobla namenodes horizontale grimpas supre en la dosiera sistemo namespace. Tio ĉi efektive apartigas namespace volumoj por uzantoj kaj kategorioj de apliko kaj provizas absolutan izolecon.
- Kolektiva Tenada Servo – La bloka nivela naĝejo abstraction permesas la arkitekturon konstrui novajn dosierajn sistemojn supre de bloka tenado. Ni facile povas konstrui novajn aplikojn sur la bloka tenada tavolo sen uzanta la dosieran sisteman fasadon. Personigita kategoriojn de bloka naĝejo ankaŭ povas esti konstruita kiun estas malsama de la defaŭlta bloka naĝejo.
- Simpla Desegno – Namenodes kaj namespaces estas sendependa de ĉiu alia. Estas malfacile ajna scenaro kiu postulas ŝanĝanta la ekzistantan nomon nodoj. Ĉiu noma nodo estas konstruita esti fortika. Federacio estas ankaŭ postiĝinta kongrua. Ĝi facile integrigas kun la ekzistanta ununura nodo deplojoj kiu laboro sen ajnaj konfiguraciaj ŝanĝoj.
Formanta HDFSan Federacion:
Konfiguracio de Hadoop Federacio estas desegnita en tia vojo ke ĉiuj la nodoj en la grapolo havas la saman konfiguracion. La konfiguracio estas efektivigita en la sekvantaj paŝoj –
- Paŝo 1 – La sekvantaj parametroj devas esti aldonita en la ekzistanta konfiguracio –
- Nameservices – Tio ĉi estas formita kun listo de komo apartigis NameServiceIDs. Ĉi tiu parametro estas uzita de Datanodes determini ĉiuj la namenodes en la grapolo.
- Paŝo 2 – La sekvantaj konfiguracioj devas esti suffixed kun la responda noma serva IDENTIGAĴO en la ofta konfiguracia dosiero.
- Namenode
- Duaranga NameNode
- BackupNode
Ekzempla konfiguracia dosiero por du namenodes estas montrita sub –
Enlistiganta 1: Ekzempla konfiguracia dosiero por du nodoj
[Kodo]
<Konfiguracio>
<Nemoveblaĵo>
<Nomo>Dfs.Nameservices</Nomo>
<Valoro>Ns1,ns2</Valoro>
</Nemoveblaĵo>
<Nemoveblaĵo>
<Nomo>Dfs.Namenode.Rpc-adreso.Ns1</Nomo>
<Valoro>Nn-host1:6600</Valoro>
</Nemoveblaĵo>
<Nemoveblaĵo>
<Nomo>Dfs.Namenode.Http-adreso.Ns1</Nomo>
<Valoro>Nn-host1:8080</Valoro>
</Nemoveblaĵo>
<Nemoveblaĵo>
<Nomo>Dfs.Namenode.Secondaryhttp-adreso.Ns1</Nomo>
<Valoro>Snn-host1:8080</Valoro>
</Nemoveblaĵo>
<Nemoveblaĵo>
<Nomo>Dfs.Namenode.Rpc-adreso.Ns2</Nomo>
<Valoro>Nn-host2:6600</Valoro>
</Nemoveblaĵo>
<Nemoveblaĵo>
<Nomo>Dfs.Namenode.Http-adreso.Ns2</Nomo>
<Valoro>Nn-host2:8080</Valoro>
</Nemoveblaĵo>
<Nemoveblaĵo>
<Nomo>Dfs.Namenode.Secondaryhttp-adreso.Ns2</Nomo>
<Valoro>Snn-host2:8080</Valoro>
</Nemoveblaĵo>
</Konfiguracio>
[/Kodo]
Aspektigado la Namenode: Lasi nin la komandoj al formato namenode.
- Paŝo 1 – Ununura noma nodo povas esti formatted uzanta la sekvantaron –
$HADOOP_UZANTA_HEJMO/ujo/hdfs namenode -formato [-ClusterId <Grapola_identigaĵo>]
La grapola identigaĵo devus esti unika kaj devas ne konflikton kun ajna alia eliranta grapolo identigaĵo. Se ne provizita, Unika grapola identigaĵo estas produktita ĉe la tempo de aspektigado.
- Paŝo 2 – Suplementa namenode povas esti formatted uzanta la sekvantan komandon –
$HADOOP_PREFIKSA_HEJMO/ujo/hdfs namenode -formato -clusterId <Grapola_identigaĵo>
Ĝi estas grava ĉi tie ke la grapola identigaĵo menciis ĉi tie devus esti la sama de kiu menciis en la Paŝo 1. Se ĉi tiuj du estas malsama, La suplementa namenode ne estos la parto de la federated grapolo.
Komencanta kaj haltanta la grapolon: Lasi nin kontroli la komandojn komenci kaj halti la grapolon.
- Komenci la grapolon – La grapolo povas esti komencita de efektiviganta la sekvantan komandon –
$HADOOP_PREFIKSA_HEJMO/uja/komenco-dfs.Sh
- Halti la grapolon – La grapolo povas esti haltita de efektiviganta la sekvantan komandon –
$HADOOP_PREFIKSA_HEJMO/uja/komenco-dfs.Sh
Aldoni novan namenode al ekzistanta grapolo: Ni jam priskribis ke multobla noma nodo estas ĉe la koro de Hadoop federacio. Do ĝi estas grava kompreni la paŝojn aldoni novajn nomajn nodojn kaj skalo horizontale.
La sekvantaj paŝoj estas devita aldoni novan namenodes –
- La konfiguracia parametro – Nameservices Bezonoj esti aldonita en la konfiguracio.
- NameServiceID Devas esti suffixed en la konfiguracio
- Nova Namenode rilatita al la config devas esti aldonita en la konfiguraciaj dosieroj.
- La konfiguracia dosiero devus esti disvastigita al ĉiuj la nodoj en la grapolo.
- Komenci la novan namenode kaj la duaranga namenode
- Refreŝigi la alia datanodes elekti la lastatempe aldonita namenode de kuranta la sekvantan komandon –
O $HADOOP_PREFIKSA_HEJMO/ujo/hdfs dfadmin -refreshNameNode <Datanode_gastiganta_nomo>:<Datanode_rpc_haveno>
- La supra komando devas esti efektivigita kontraŭ ĉiuj datanodes sur la grapolo.
Resuma: HDFSa federacio estis enkondukita venki la limojn de pli frua HDFSa efektivigo. Aldonanta scalability ĉe la namespace tavolo estas la plej grava ĉefaĵo de HDFSa federacio arkitekturo. Sed HDFSa federacio estas ankaŭ postiĝinta kongrua, Do la ununura namenode konfiguracio ankaŭ laboros sen ajnaj ŝanĝoj.
Lasi nin resumi nian diskuton en la formo sekvi kuglojn
- HDFSa federacio apartigas la Namenode tavolo Kaj la Tenada tavolo.
- HDFSa federacio estas desegnita venki la limojn de la ununura noda HDFSa arkitekturo kie la tenado povas grimpi supre horizontale ne la namespace.
- HDFSa federacio venas supre kun sekvanta avantaĝojn –
- Izoleco
- Scalability
- Simpla Desegno
- HDFSa konfiguracio estas tre simpla kaj estas ankaŭ facile administri.
?
