Orokorra: ondo Hadoop eta HDFS ezaugarriak jakitun gara. Dokumentu honetan HDFS federazioa Existitzen HDFS arkitektura bat hobetzeko laguntzen digu buruz hitz egin dugu. namespace eta biltegiratze arteko bereizketa argi bat ematen du, beraz, eskalagarritasuna eta isolamendua ahalbidetzen kluster mailan.
Sarrera: Hadoop federazioa bereizten du namespace geruza eta biltegiratze geruza. bloke biltegiratze geruza aukera ematen du. Gainera, lehendik dauden HDFS kluster arkitekturaren zabaldu da inplementazio eta erabilera kasu berri baimendu. Egungo HDFS arkitektura bi geruza ditu -
- Aukerak - Geruza hori kudeatzen fitxategiak, guneak eta blokeak. Geruza hori oinarrizko fitxategi sistemaren eragiketak adibidez onartzen. fitxategi zerrenda, fitxategiak sortzea, fitxategiak aldatzea eta ezabatzea fitxategiak eta karpetak.
- Block Storage - geruza honek bi zati ditu -
- Block Kudeaketa Hau kluster datanodes kudeatzen eta sorkuntza bezalako eragiketak eskaintzen, ezabatzeko, aldatu eta bilaketa. halaber, laguntza hartzen erreplikazioa kudeaketaren It.
- Biltegiratzea fisikoa Hau blokeak gordetzen eta irakurri edo idatzi eragiketak egiteko sarbidea ematen.
HDFS kluster
Figure 1: HDFS kluster
uneko HDFS Arkitekturan, namespace bat bakarrik mordoa osorik zein da izen bakarra nodo kudeatutako dugu. Planteamendu hau erabiltzea errazagoa bihurtzen da HDFS kluster ezartzeko. arkitektura layering hau ongi dabil balio txikiagoak erakunde handiagoentzat non datuen bolumena handi bat hartu beharreko arreta abiadura azkar batean behar du, adibidez. Yahoo eta Facebook aurkitu zen planteamendu hau diren Hadoop federazioak maneiatzen muga batzuk ditu. Beraz Hadoop federazioa den arkitektura aurreratu uneko HDFS ezartzeko mugak gainditu gisa defini daiteke.
Let mugak egiaztatzeko digu jarraian azaldu bezala -
- Ongi akoplatu Block Biltegiratzea eta Aukerak - gaur egungo arkitekturan bloke biltegiratze eta Namespace ongi daudela eta horrek beste izen nodo erronka inplementazioak egiten eta beste zerbitzu mugatzen bloke biltegiratze zuzenean erabili.
- Aukerak Eskalagarritasuna - HDFS kluster eskalak horizontalki datanodes gehituz baina ezin dugu namespace gehiago gehitu lehendik kluster horizontalki. namespace bertikalean eskalatzeko dugu namenode bakar batean. namenode The agiri sistema metadata bere memoria barruan zein bloke kopurua mugatzen gordetzen du, fitxategiak eta direktorioak fitxategi-sistema du namenode bakar memorian egokitu behar dela bermatuta egon.
- Performance - Egungo fitxategi sistemaren eragiketak dira a name nodo bakar throughput mugatuta dauden euskarri batean zein 60000 aldibereko zereginak. Baina datozen mapa berria Apache batetik murrizteko laguntza izango dute baino gehiagorako 100000 aldibereko zereginak eta, beraz, nodo bat baino gehiago eskatzen du.
- Isolation - Oro har HDFS garapen dira eskuragarri anitzeko maizterrak ingurumena non kluster bakar bat da erakunde anitz konpartitzen on. setup honetan aparteko izen-leku bat, ez da posible aplikazio bat edo erakunde bat.
HDFS Federazioa:
Hadoop federazioa name zerbitzua horizontalki eskalatuz ahalbidetzen. Hainbat namenodes edo izen-tarte horrek elkarrengandik independienteak dira erabiltzen ditu. Hauek dira Independent namenodes federatu adib. ez dute behar arteko koordinazioa. datanodes hauek biltegiratze komuna gisa erabiltzen dira namenodes guztien arabera. datanode bakoitzak kluster namenodes guztiak inskribatuta dago. datanodes hauek bidali aldizkako txostenak eta erantzuten komando name nodo batetik. bloke igerilekuan zein bloke multzo bat namespace bakar bateko da izan dugu. cluster batean, datanodes dendak bloke igerilekuak guztientzat blokeak. bloke igerilekua bakoitzak kudeatzen independentean. Hau bloke bloke berrirako ids sortzeko beste klausularen informatzeko gabe name espazioa gaitzen. namenode bat edozein arrazoirengatik huts egiten badu, datanode beste namenodes zerbitzatu jarraitzen du.
namespace One eta bere blokea kolektiboki deitzen dira Aukerak Bolumen. Noiz izen-leku edo namenode bat ezabatzen du datanode bloke dagokion igerilekua automatikoki ezabatuko da. Kluster-mailaketa prozesuan, namespace bolumen bakoitzeko unitate gisa berritu da.
An HDFS federazioa arkitektura
Figure 2: An HDFS federazioa arkitektura
Hadoop Federazioa abantailak:
Hadoop federazioa ateratzen diren pean bezala zerrendatuta abantaila eta onura batzuk -
- Eskalagarritasuna eta isolatzea - namenodes anitzak horizontalki eskalak ireki fitxategia sistema izen-tarteko. Hau benetan bereizten namespace erabiltzaile eta aplikazio-kategoriaren liburuki eta isolamendu absolutua ematen du.
- Generic Storage Zerbitzua - Bloke mailako igerilekua abstrakzioa ahalbidetzen du arkitektura fitxategi sistema berriak eraikitzeko bloke biltegiratze gainean. erraz eraiki ahal izango dugu bloke biltegiratze geruza aplikazio berri bat fitxategi sistema interfaze erabili gabe. Norberarena bloke igerilekua kategorietan ere eraiki ahal dira lehenetsitako bloke igerilekua desberdinak dira.
- Simple Design - Namenodes eta izen-tarte elkarrengandik independienteak dira. Badira ia ez da existitzen izen nodo aldatuz eskatzen Edozein eszenatoki. name nodo bakoitzak eraikitzen da sendoa izan behar. Federazioa da ere atzera bateragarri. erraz Dagoen bakar nodo edozein konfigurazio aldaketak gabe lan horrek garapen integratzen ditu.
HDFS Federazioa bat konfiguratzea:
Hadoop Federazioa konfigurazioa modu bat dela kluster nodo guztiak konfigurazio bera dute, hala nola diseinatu da. konfigurazio egiten da urrats hauek ere -
- Step 1 - Parametro hauek behar du dauden konfigurazio gehitu behar -
- nameservices - Hau da, komaz banatuta NameServiceIDs zerrenda bat batekin konfiguratu. Parametro honek kluster namenodes guztia zehazteko Datanodes arabera erabiltzen da.
- Step 2 - Ondorengo ezarpenak dagokion izen zerbitzua ID Euskara da konfigurazio fitxategia komun sartu behar.
- Namenode
- Secondary NameNode
- BackupNode
lagin konfigurazio bi namenodes fitxategi honetan erakusteko -
Listing 1: Sample konfigurazio bi nodo fitxategia
[Code]
<konfigurazio>
<jabetza>
<izena>dfs.nameservices</izena>
<balioa>ns1, NS2</balioa>
</jabetza>
<jabetza>
<izena>dfs.namenode.rpc-address.ns1</izena>
<balioa>nn-host1:6600</balioa>
</jabetza>
<jabetza>
<izena>dfs.namenode.http-address.ns1</izena>
<balioa>nn-host1:8080</balioa>
</jabetza>
<jabetza>
<izena>dfs.namenode.secondaryhttp-address.ns1</izena>
<balioa>NHS-host1:8080</balioa>
</jabetza>
<jabetza>
<izena>dfs.namenode.rpc-address.ns2</izena>
<balioa>nn-host2:6600</balioa>
</jabetza>
<jabetza>
<izena>dfs.namenode.http-address.ns2</izena>
<balioa>nn-host2:8080</balioa>
</jabetza>
<jabetza>
<izena>dfs.namenode.secondaryhttp-address.ns2</izena>
<balioa>NHS-host2:8080</balioa>
</jabetza>
</konfigurazio>
[/Code]
Namenode formateatzen: Dezagun formatuan namenode komandoak.
- Step 1 – name nodo bakar batek formateatua daiteke Honako erabiliz -
$HADOOP_USER_HOME / bin / HDFS namenode -format [-clusterId <cluster_id>]
kluster id bakarra izan behar du, eta ez beste edozein irteteeko kluster id konfliktorik behar. ez baldin bada, kluster id berezia formateatze momentuan sortzen da.
- Step 2 - namenode gehigarria formateatuta daiteke komando hau erabil -
$HADOOP_PREFIX_HOME / bin / HDFS namenode -format -clusterId <cluster_id>
Garrantzitsua da hemen aipatu kluster id dela hori bera ere aipatu behar da urrats 1. bi horiek desberdinak badira, du namenode osagarriak izango ez federatuak kluster zatia izan.
Hasiera eta kluster gelditu: Let komandoak egiaztatu gurekin hasteko eta kluster gelditzeko.
- Hasi klusterraren - kluster honako komandoa exekutatuz hasi ahal -
$HADOOP_PREFIX_HOME / bin / start-dfs.sh
- Gelditu klusterraren - kluster gelditu daiteke honako komandoa exekutatuz -
$HADOOP_PREFIX_HOME / bin / start-dfs.sh
Gehitu namenode berri bat lehendik kluster den: Dagoeneko deskribatu dugu anitz name nodo hori Hadoop federazioa muinean dago. Beraz, oso garrantzitsua da urrats izen nodo berriak gehitu eta eskalatzeko horizontalki ulertzeko.
Urrats hauek beharrezkoak dira namenodes berriak gehitzeko -
- The konfigurazio parametroaren - nameservices beharrak konfigurazioa gehitu behar.
- NameServiceID den konfigurazioan Euskara beharko
- config erlazionatutako Namenode New konfigurazio fitxategiak gehitu behar.
- Konfigurazio fitxategia kluster nodo guztiei hedatzen behar.
- Hasi du namenode berriak eta bigarren mailako namenode
- Freskatu beste datanodes berriki gehitutako namenode jasotzeko honako komandoa exekutatuz -
o $HADOOP_PREFIX_HOME/bin/hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>
- Goiko komandoak kluster on datanodes guztiak aurka exekutatu behar.
Summary: HDFS federazioa sartu izan ditu lehenago HDFS ezartzeko mugak gainditzeko. eskalagarritasuna gehitzea namespace geruza HDFS federazioa arkitekturaren ezaugarri garrantzitsuena da. Baina HDFS federazioa da ere atzera bateragarri, beraz namenode bakarreko konfigurazioa ere edozein aldaketa gabe lan.
Dezagun gure eztabaida laburbiltzen digu honako balak formularioa
- HDFS federazioa bereizten du namenode geruza eta biltegiratze geruza.
- HDFS federazioa bakar nodo HDFS arkitektura mugak gainditzeko non biltegiratze gora eskalatu ahal horizontalki ez izenlekuaren diseinatuta dago.
- HDFS federazioa datorren abantailak honako batera -
- Isolation
- Scalability
- Simple Diseinua
- HDFS konfigurazioa oso erraza da, eta, gainera, ez da erraza kudeatzeko.
