TechAlpine – All About Technology

Ülevaade: Me oleme teadlikud funktsioonid Hadoop ja HDFS. Selles dokumendis me räägime HDFS föderatsiooni mis aitab meil suurendada olemasolevat HDFS arhitektuuri. See annab selge vahe nimeruumi ja ladustamise võimaldab seega mastaapsuse ja isolatsiooni klastri tasemel.

Sissejuhatus: Hadoop föderatsiooni eraldab nimeruumi kiht ja ladustamine kiht. See võimaldab blokeerida ladustamine kiht. Samuti laiendab arhitektuuri olemasoleva HDFS klastri, mis võimaldab uusi rakendusi ja kasutamise juhtudel. Praegune HDFS arhitektuuri on kaks kihti -

• nimeruum - See kiht haldab faile, kataloogid ja plokid. See kiht toetab põhi failisüsteemi näiteks. noteerimise faile, loomine faile, muutmine faile ja kustutada faile ja kaustu.
• Block Storage - See kiht koosneb kahest osast -
  • Block juhtimine See haldab datanodes klastri ja pakub tegevust nagu loomine, kustutamine, muutmise ja otsing. Samuti hoolitseb replikatsiooni juhtimise.
  • Füüsiline Storage See salvestab plokid ja pakub ligipääsu lugeda ega kirjutada operatsioone.

Figure 1: HDFS klastri

Praeguses HDFS arhitektuuri, meil on ainult üks nimeruumi kogu klastri, mis haldab ühte nime sõlme. Seda meetodit kasutades muutub lihtsam rakendada HDFS klastri. See kihilisus arhitektuuri töötab hästi väiksematele seadistuse ajal suuremates organisatsioonides, kus suur hulk andmeid on vaja hoolitseda hoogsalt, näiteks. Yahoo ja Facebook leiti, et selline lähenemine on mõned piirangud, mis haldab Hadoop Föderatsiooni. Nii Hadoop föderatsiooni võib defineerida kui arenenud arhitektuuri piirangute ületamiseks praeguse HDFS rakendamine.

Olgem kontrollida piirangud nagu allpool selgitatud -

• Tihedalt sidestatud Block Storage ja Nimeruum - Praeguses arhitektuuri ploki ladustamise ja Nimeruum on tihedalt sidestatud, mis muudab asendusliikme rakenduste nimi sõlmede keeruline ja piirab teiste teenuste kasutamise plokk ladustamise otse.
• Nimeruum mastaapsuse - HDFS klastri kaalud horisontaalselt, lisades datanodes kuid me ei saa lisada rohkem nimeruumi olemasolevale klastri horisontaalselt. Me võime skaala nimeruumi vertikaalselt ühe namenode. Namenode salvestab kogu failisüsteemi metaandmete tema mälu, mis piirab plokkide arvu, faile ja katalooge, et toetada failisüsteemi, mis tuleb paigutada mälu ühtse namenode.

• Performance - Praegune failisüsteemi on piiratud läbilaskevõimega ühe nime sõlme, mis praegu toetab 60000 samaaegse ülesanded. Kuid uus tulemine kaart vähendada Apache on toetust üle 100000 samaaegsete ülesanded ja seega on vaja mitu tippu.

• Isolatsioon - Üldiselt HDFS kasutuselevõttu on saadaval mitme üürniku keskkond, kus ühe klastri jagatud mitme organisatsioonid. Sellise seadistuse eraldi nimeruumi ei ole võimalik ühe taotluse või üks organisatsioon.

HDFS Föderatsiooni:

Hadoop föderatsiooni võimaldab tagi nime teenust horisontaalselt. Ta kasutab mitmeid namenodes või nimeruumid mis on üksteisest sõltumatud. Need on sõltumatu namenodes liitriikide st. nad ei nõua muu koordineerimine. Need datanodes kasutatakse ühise ladustamise kõik namenodes. Iga datanode on registreeritud kõik namenodes klastri. Need datanodes saata perioodilisi aruandeid ja reageerib käsklustele nimi sõlmed. Meil on plokk bassein, mis on kogum plokid, mis kuulub ühele nimeruumi. Klastri, datanodes kauplustes plokid kõigi ploki basseinid. Iga plokk bassein juhitakse iseseisvalt. See võimaldab nimi ruumi tekitada plokk ID-d uute plokkide teavitamata teiste nimeruumid. Kui üks namenode ei mingil põhjusel, datanode hoiab teenivad teistest namenodes.

Üks nimeruumi ja selle ploki ühiselt nimetatakse nimeruum Volume. Kui nimeruumi või namenode kustutatakse vastav plokk basseini datanode kustutatakse automaatselt. Protsessis klastri kuni üleminekutega, Iga nimeruum maht on täiendatud üksusena.

Figure 2: HDFS föderatsiooni arhitektuuri

Kasu Hadoop Föderatsiooni:

Hadoop föderatsiooni kerkib mõned eelised ja kasu, mis on loetletud all -

• Mastaapsuse ja isoleerimine - Mitu namenodes horisontaalselt kaalud üles failisüsteemi nimeruumi. See tegelikult eraldab nimeruumi mahud kasutajatele ja liiki taotlusi ja annab täieliku isolatsiooni.
• Generic Storage Service - Plokk tasandil bassein võtmiseks võimaldab arhitektuuri, et ehitada uus failisüsteemi peal plokk ladustamine. Me lihtsalt luua uusi rakendusi blokeerida ladustamine kiht ilma failisüsteemi liides. Kohandatud kategooriate plokk pool võib ehitada ka mis erinevad vaikimisi ploki bassein.
• Lihtne disain - Namenodes ja nimeruumid on üksteisest sõltumatud. Vaevalt stsenaarium, mis eeldab muutes olemasolevaid nimi sõlmed. Iga nimi sõlm on ehitatud olema jõuline. Föderatsioon on ka tagurpidi ühilduvad. See lihtsalt integreerub olemasoleva ühe sõlme kasutuselevõttu, mis töötavad ilma konfiguratsiooni muudatusi.

Konfigureerimine HDFS Föderatsiooni:

Konfiguratsioon Hadoop Federation on projekteeritud nii, et kõik sõlmed klastris on samasugune konstruktsioon. Konfiguratsioon viiakse läbi järgmised sammud -

• Step 1 - Järgmised parameetrid tuleb lisada olemasoleva konfiguratsiooni -
  • nameservices - See on konfigureeritud komadega eraldatud NameServiceIDs. Seda parameetrit kasutatakse Datanodes määrama kõik namenodes klastri.
• Step 2 - Järgmised koosseisudes tuleb lõppmärgistega vastava nime tunnus ühisesse konfiguratsioonifaili.
  • Namenode
  • Secondary NameNode
  • BackupNode

Proovi konfiguratsioonifaili kaks namenodes on toodud allpool -

Listing 1: Näidis konfiguratsioonifaili kaks sõlmede

[Code]

<konfiguratsioon>

<kinnisvara>

<nimi>dfs.nameservices</nimi>

<väärtus>ns1, NS2-</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>dfs.namenode.rpc-address.ns1</nimi>

<väärtus>nn-HOST1:6600</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>dfs.namenode.http-address.ns1</nimi>

<väärtus>nn-HOST1:8080</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>dfs.namenode.secondaryhttp-address.ns1</nimi>

<väärtus>NHS-HOST1:8080</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>dfs.namenode.rpc-address.ns2</nimi>

<väärtus>nn-HOST2:6600</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>dfs.namenode.http-address.ns2</nimi>

<väärtus>nn-HOST2:8080</väärtus>

</kinnisvara>

<kinnisvara>

<nimi>dfs.namenode.secondaryhttp-address.ns2</nimi>

<väärtus>NHS-HOST2:8080</väärtus>

</kinnisvara>

</konfiguratsioon>

[/Code]

Vormindamine Namenode: Olgem käske formaadis namenode.

• Step 1 – Ühe nimi sõlm võib vormindatud järgmine -

$HADOOP_USER_HOME / bin / HDFS namenode Format [-Klastri <cluster_id>]

Klastri id peavad olema unikaalsed ja ei tohi olla vastuolus muu väljudes klastri id. Kui ei ole sätestatud, unikaalne klastri id on loodud ajal vormingu.

• Step 2 - Täiendav namenode saab vormindada kasutades järgmist käsku -

$HADOOP_PREFIX_HOME / bin / HDFS namenode Format -clusterId <cluster_id>

Oluline on siin, et klastri id siin mainitud peaks olema sama kõnealuse nimetada samm 1. Kui need kaks on erinevad, täiendav namenode ei jää osa õigsuse klastri.

Käivitamine ja seiskamine klastri: Olgem kontrollida käske käivitada ja peatada klastri.

• Alusta klastri - Klastri saab käivitada käsuga -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

• Peatage klastri - Klastri saab peatada käsuga -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

Lisa uus namenode olemasolevale klastri: Oleme juba kirjeldatud, et mitu nime sõlm on keskmes Hadoop Föderatsiooni. Seega on oluline mõista samme, et lisada uus nimi sõlmed ja ulatus horisontaalselt.
Järgmised sammud on vaja lisada uusi namenodes -

• Konfiguratsiooni parameeter - nameservices tuleb lisada konfiguratsiooni.
• NameServiceID tuleb lõppmärgistega konfiguratsiooni
• Uus Namenode seotud config tuleb lisada konfiguratsiooni faile.
• Konfiguratsioonifail tuleks paljundatud kõik sõlmed klastri.
• Alusta uut namenode ja teisese namenode
• Värskenda teiste datanodes valida äsja lisatud namenode käivitades järgmine käsk -

o $HADOOP_PREFIX_HOME/bin/hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>

• Ülaltoodud käsk tuleb täita vastu kõik datanodes klastri.

Summary: HDFS föderatsiooni võeti kasutusele piirangute ületamiseks varem HDFS rakendamine. Lisades mastaapsuse juures nimeruumi kiht kõige olulisem omadus HDFS föderatsiooni arhitektuuri. Aga HDFS föderatsioon on ka tagurpidi ühilduvad, nii et ühe namenode konfiguratsioon töötab ka ilma muudatusteta.
Olgem kokku meie arutelu vormis järgmised täppe

• HDFS föderatsiooni eraldab namenode kiht ja ladustamine kiht.
• HDFS föderatsiooni eesmärk on ületada piiranguid ühe sõlme HDFS arhitektuuri, kus ladustamine võib skaala horisontaalselt ole nimeruumi.
• HDFS föderatsiooni kerkib järgmised eelised -
  • isolatsioon
  • Scalability
  • lihtne disain
• HDFS konfiguratsioon on väga lihtne ja see on ka lihtne hallata.