Përmbledhje: Ne jemi të vetëdijshëm për tiparet e Hadoop dhe HDFS. Në këtë dokument ne do të flasim për federatës HDFS e cila na ndihmon për të rritur një arkitekturë ekzistues HDFS. Ai siguron një ndarje të qartë ndërmjet hapësira dhe ruajtjen kështu mundëson scalability dhe izolimin në nivelin e zonës.
Parathënie: Hadoop Federata përçan namespace avokat dhe shtresa e magazinimit. Ajo mundëson shtresa magazinimit bllok. Ajo gjithashtu zgjeron arkitekturën e një grup ekzistues HDFS për të lejuar Implementimi dhe rastet e përdorimit të reja. Arkitektura e tanishme HDFS ka dy shtresa -
- namespace - Kjo shtresë menaxhon fotografi, directories dhe blloqe. Kjo shtresë mbështet operacionet themelore file sistemit e.g. listë e dosjeve, Krijimi i dosjeve, modifikimin e dosjeve dhe fshirjen e dosjeve dhe dosjet.
- Block Storage - Kjo shtresë ka dy pjesë -
- Menaxhimi Block Kjo administron datanodes në grup dhe ofron operacionet si krijimi, fshirje, modifikimin dhe kërko. Ajo gjithashtu kujdeset për menaxhimin e replikimit.
- Storage fizike Kjo ruan blloqet dhe siguron qasje për të lexuar ose të shkruajnë operacionet.
Një grup HDFS
Figure 1: Një grup HDFS
Në arkitekturën aktuale HDFS, ne kemi vetëm një namespace për të gjithë grup e cila menaxhohet nga një nyje e vetme për emrin. Duke përdorur këtë metodë bëhet më e lehtë për të zbatuar grup HDFS. Kjo layering e arkitekturës works fine për struktura më të vogla, ndërsa për organizatat më të mëdha ku një vëllim i madh i të dhënave duhet të marrë kujdes në një shpejtësi të shpejtë, e.g. yahoo dhe Facebook është gjetur se kjo qasje ka disa kufizime të cilat janë të trajtohen nga federata Hadoop. Kështu Hadoop federata mund të përkufizohet si arkitekturë të përparuar për të kapërcyer kufizimet e zbatimit tanishme HDFS.
Le të kontrolloni kufizimet siç shpjegohet më poshtë -
- Fort shoqëruar Block Magazinimi dhe Hapësira - Në arkitekturën e tanishme e ruajtjes bllok dhe Hapësira janë shoqëruar fort e cila bën Implementimi alternative të nyjeve emrin sfiduese dhe kufizon shërbime të tjera për përdorimin e magazinimit bllok direkt.
- Namespace Scalability - Grumbulli HDFS shkallët horizontalisht duke shtuar datanodes por ne nuk mund të shtoni më shumë namespace një grup ekzistues horizontalisht. Ne mund të shkallë namespace vertikalisht në një namenode të vetme. Namenode ruan plotë metadata file sistemit brenda kujtesën e tij, i cili kufizon numrin e blloqeve, fotografi dhe directories të mbështetet në sistemin e file që duhet të vendosen në kujtesën e namenode vetme.
- Performance - Operacionet aktuale të sistemit fotografi janë të kufizuara për të xhiros e një nyje të vetme për emrin e cila në mbështet të pranishëm 60000 detyrat harmoni. Por harta e re që vjen reduktuar nga Apache do të ketë një mbështetje për më shumë se 100000 Detyrat në harmoni dhe në këtë mënyrë do të kërkojë nyje të shumta.
- Izolim - Në përgjithësi dislokimet HDFS janë në dispozicion në një mjedis multi-qiramarrësit, ku një grup të vetëm është e ndarë nga organizata të shumta. Në këtë setup një namespace veçantë nuk është e mundur për një aplikim ose një organizatë.
Federata HDFS:
Hadoop Federata lejon shkallë shërbimin emrin horizontalisht. Ai përdor disa namenodes apo hapësira të cilat janë të pavarura nga njëri-tjetri. Këto janë namenodes Pavarur i federuar i.e. ata nuk kërkojnë koordinimi inter. Këto datanodes janë përdorur si ruajtje të përbashkët nga të gjithë namenodes. Çdo datanode është i regjistruar me të gjitha namenodes në grup. Këto datanodes dërgojnë raporte periodike dhe të përgjigjet komandat nga nyjet emrit. Ne kemi një pishinë bllok i cili është një grup i blloqeve që i përkasin një hapësira të vetme. Në një grup, bllokon datanodes dyqane për të gjitha pishina në bllok. Çdo pishinë bllok menaxhohet në mënyrë të pavarur. Kjo mundëson hapësirë emrin për të gjeneruar IDS bllokut për blloqe të reja pa informuar hapësira të tjera. Nëse dikush namenode dështon për ndonjë arsye, datanode vazhdon të shërbyer nga namenodes tjera.
Një namespace dhe bllok e saj janë quajtur kolektivisht namespace Volume. Kur një namespace ose namenode fshihet pishinë përkatëse bllok në datanode fshihet automatikisht. Në procesin e grupimit deri-klasifikim, çdo vëllimi namespace është përmirësuar si një njësi.
Një federatë Arkitektura HDFS
Figure 2: Një federatë Arkitektura HDFS
Përfitimet e Federatës Hadoop:
Hadoop federata vjen me disa avantazhe dhe përfitimet të cilat janë të listuara si në -
- Scalability dhe izolimi - namenodes shumta horizontalisht peshore në sistemin fotografi namespace. Kjo në fakt ndan vëllime namespace për përdoruesit dhe kategoritë e aplikimit dhe siguron një izolim absolut.
- Generic Storage Service - Niveli block Pishinë abstraksion lejon arkitekturës për të ndërtuar sisteme të reja fotografi në krye të ruajtjes bllok. Ne lehtë mund të ndërtuar aplikime të reja në shtresën e magazinimit bllok pa përdorur ndërfaqen e sistemit fotografi. Kategoritë Customized e pishinë bllok mund të ndërtohet të cilat janë të ndryshme nga bllok pishinë parazgjedhur.
- Simple Design - Namenodes dhe hapësira janë të pavarur nga njëri-tjetri. Nuk është e vështirë se çdo skenari që kërkon ndryshimin nyjet ekzistuese emrin. Çdo nyjë emri është ndërtuar që të jetë e fuqishme. Federata është gjithashtu e prapambetur në përputhje. Është lehtë integron me vendosjet ekzistuese nyjeve të vetme të cilat punojnë pa ndonjë ndryshim të konfigurimit.
Konfiguruar një Federatën HDFS:
Konfigurimi i Federatës Hadoop është projektuar në mënyrë të tillë që të gjitha nyjet në grup kanë të njëjtin konfigurim. Konfigurimi është kryer në hapat vijues -
- Step 1 - Parametrat e mëposhtëm duhet të shtohet në konfigurimin ekzistues -
- nameservices - Ky është konfiguruar me një listë të ndara me presje NameServiceIDs. Ky parametër është përdorur nga Datanodes për të përcaktuar të gjitha namenodes në grup.
- Step 2 - Konfigurimet e mëposhtme duhet të shtuar te me korresponduese ID shërbimit emrin në dosjen e përbashkët e konfigurimit.
- Namenode
- Secondary NameNode
- BackupNode
Një skedë konfigurimi mostër për dy namenodes është treguar më poshtë -
Listing 1: Një skedë konfigurimi Shembull për dy nyje
[Code]
<konfiguracion>
<pronë>
<emër>dfs.nameservices</emër>
<vlerë>NS1, NS2</vlerë>
</pronë>
<pronë>
<emër>dfs.namenode.rpc-address.ns1</emër>
<vlerë>nn-host1:6600</vlerë>
</pronë>
<pronë>
<emër>dfs.namenode.http-address.ns1</emër>
<vlerë>nn-host1:8080</vlerë>
</pronë>
<pronë>
<emër>dfs.namenode.secondaryhttp-address.ns1</emër>
<vlerë>NHS-host1:8080</vlerë>
</pronë>
<pronë>
<emër>dfs.namenode.rpc-address.ns2</emër>
<vlerë>nn-host2:6600</vlerë>
</pronë>
<pronë>
<emër>dfs.namenode.http-address.ns2</emër>
<vlerë>nn-host2:8080</vlerë>
</pronë>
<pronë>
<emër>dfs.namenode.secondaryhttp-address.ns2</emër>
<vlerë>NHS-host2:8080</vlerë>
</pronë>
</konfiguracion>
[/Code]
Formatimit Namenode: Le komandat në formatin namenode.
- Step 1 – Një nyje e vetme emri mund të jetë i formatuar duke përdorur në vijim -
$HADOOP_USER_HOME / bin / hdfs namenode -format [-clusterId <cluster_id>]
Grumbulli id duhet të jetë unik dhe nuk duhet të bien ndesh me ndonjë tjetër të daljes grumbull id. Nëse jo kusht, një grup id unike është krijuar në kohën e formatimit.
- Step 2 - namenode shtesë mund të formatuar duke përdorur komandën e mëposhtme -
$HADOOP_PREFIX_HOME / bin / hdfs namenode -format -clusterId <cluster_id>
Është e rëndësishme këtu se id grumbull përmendur këtu duhet të jetë e njëjtë e që është përmendur në hap 1. Nëse këto dy janë të ndryshme, namenode shtesë nuk do të jetë pjesë e grupimit federuar.
Duke filluar dhe ndalimin e grup: Le të kontrolloni komandat për të filluar dhe të ndaluar grup.
- Fillimi i grup - Grumbulli mund të filluar duke ekzekutuar komandën e mëposhtme -
$HADOOP_PREFIX_HOME / bin / start-dfs.sh
- Stop grup - Grumbulli mund të ndalet duke ekzekutuar komandën e mëposhtme -
$HADOOP_PREFIX_HOME / bin / start-dfs.sh
Shto një namenode të re në një grup ekzistues: Ne kemi përshkruar tashmë se nyje të shumta emri është në zemër të Hadoop federatës. Pra, është e rëndësishme për të kuptuar hapat për të shtuar nyje të reja emri dhe shkallë horizontalisht.
Hapat e mëposhtëm janë të nevojshme për të shtuar namenodes të reja -
- Konfigurimi Parametri - nameservices ka nevojë të shtohet në konfigurimin.
- NameServiceID duhet shtuar te në konfigurimin
- Namenode re në lidhje me config duhet të shtohet në dosjet e konfigurimit.
- Dosja konfigurimit duhet të futem në të gjitha nyjet në grup.
- Fillimi i namenode ri dhe namenode mesme
- Refresh datanodes të tjera për të marr namenode shtuar rishtas duke xhiruar komandën e mëposhtme -
o $ HADOOP_PREFIX_HOME / bin / hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>
- Komandën e mësipërme duhet të ekzekutohet kundër të gjitha datanodes në grup.
Summary: HDFS Federata është futur për të kapërcyer kufizimet e zbatimit më parë HDFS. Shtimi scalability në shtresën namespace është tipari më i rëndësishëm i arkitekturës federatës HDFS. Por HDFS federatës është gjithashtu e prapambetur në përputhje, kështu që konfigurimi i vetëm namenode do të punojnë edhe pa ndonjë ndryshim.
Le të përmbledhim diskutimin tonë në formën e plumbave në vijim
- HDFS Federata përçan shtresa namenode dhe shtresa e magazinimit.
- HDFS Federata është projektuar për të kapërcyer kufizimet e vetme arkitekturës nyje HDFS ku e magazinimit mund të shkallë deri horizontalisht jo namespace.
- HDFS federata vjen me këto përparësi -
- Izolim
- Scalability
- Dizajn i thjeshtë
- HDFS konfigurimit është shumë e thjeshtë dhe është gjithashtu e lehtë për të menaxhuar.
