TechAlpine – All About Technology

Pregled: Svjesni smo od značajki Hadoop i HDF-ovi. U ovom dokumentu ćemo govoriti o HDF-ovi federacije koja nam pomaže kako bi se poboljšala postojeći HDF-ovi arhitekturu. Ona omogućuje jasno razdvajanje između imenski prostor i skladištenja na taj način omogućuje skalabilnost i izolaciju na razini klastera.

Uvođenje: Hadoop savez razdvaja namespace sloj i sloj za pohranu. To omogućuje sloj blok za pohranu. Također se proširuje arhitekturu postojećeg HDF-ovi klaster kako bi se omogućilo nove implementacije i upotreba. Sadašnji HDF-ovi arhitektura ima dva sloja -

• namespace - Ovaj sloj upravlja datotekama, direktorije i blokovi. Ovaj sloj podržava osnovne operacije datotečni sustav pr. popis datoteka, Stvaranje datoteke, izmjena datoteka i brisanje datoteka i mapa.
• Block Storage - Ovaj sloj ima dva dijela -
  • Blok za upravljanje Ovaj upravlja datanodes u klasteru i osigurava operacije kao što su stvaranje, brisanje, mijenjanje i traženje. Ona također vodi brigu o upravljanju replikacije.
  • Fizička Storage Ovaj pohranjuje blokova i omogućuje pristup za čitanje ili pisanje operacije.

Figure 1: HDF-ovi klaster

U trenutnom HDF-ovi arhitekture, imamo samo jedan prostor za naziv za cijelu klastera koji upravlja jednim imenom čvor. Koristeći ovaj pristup postaje lakše provesti HDF-ovi klaster. To raslojavanje arhitekture utvrde prekid za manje instrumenta, dok za veće organizacije u kojima treba da se brine na brzom brzinom ogromna količina podataka, na primjer. Yahoo i Facebook utvrđeno je da je ovaj pristup ima neka ograničenja koja su obrađene od strane Hadoop federacije. Dakle Hadoop savez može definirati kao naprednu arhitekturu prevladavanja ograničenja trenutne implementacije HDF-ovi.

Neka nam provjerite ograničenja kao što je objašnjeno u nastavku -

• Povezaniji Blok Skladištenje i Prostor - U trenutnom arhitekturi blok za pohranu i Prostor čvrsto su povezani što čini alternativne implementacije ime čvorova izazovne i ograničava druge usluge za korištenje blok pohranu izravno.
• Namespace skalabilnost - HDF-ovi klaster vage vodoravno dodavanjem datanodes ali ne možemo dodati još namespace u postojeći klaster vodoravno. Možemo ljestvici namespace okomito na jednom namenode. Namenode pohranjuje kompletan metapodatke sustav datoteka u memoriji koji ograničava broj blokova, datoteke i direktorije koji se oslanja na datotečni sustav koji se treba smjestiti u memoriju jedinstvenog namenode.

• Izvođenje - Sadašnji operacije datotečni sustav su ograničeni na propusnost od jednog imena čvor koji u ovom trenutku podržava 60000 istodobnih zadataka. No, novi dolaze karta smanji od Apache će imati podršku za više od 100000 istodobnih zadatke i na taj način će zahtijevati više čvorova.

• izolacija - Općenito HDF-ovi implementacija dostupne su na multi-stanar okruženja u kojem jedan klaster dijele više organizacija. U ovom sustavu zaseban prostor naziva nije moguće da jedan zahtjev ili jednu organizaciju.

HDF-ovi Federacija:

Hadoop savez omogućuje skaliranje naziv usluge vodoravno. Ona koristi nekoliko namenodes ili imenskom prostoru koji su međusobno neovisni. To su Nezavisni namenodes Federalna tj. oni ne zahtijevaju među koordinacija. Ove datanodes se koriste kao zajedničko skladištenje strane svih namenodes. Svaki datanode registriran sa svim namenodes u klasteru. Ove datanodes poslati periodična izvješća i odgovara na naredbe iz imena čvorova. Imamo blok bazen koji je skup blokova koji pripadaju jednoj imenski prostor. U klasteru, su datanodes pohranjuje blokovi za sve blok bazenima. Svaki blok bazen upravlja samostalno. To omogućuje ime prostor za generiranje blok IDS novih blokova bez obavještavanja druge imenskom prostoru. Ako jedan namenode ne uspije iz bilo kojeg razloga, datanode drži na posluživanje iz drugih namenodes.

Jedan imenski prostor i njegov blok kolektivno nazivaju namespace Volume. Kada je imenski prostor ili namenode briše odgovarajući blok bazen na datanode briše automatski. U procesu klastera up-gradacija, svaki svezak imenski prostor nadograđuje kao jedinica.

Figure 2: HDF-ovi arhitektura savez

Prednosti Hadoop Federacije:

Hadoop savez dolazi do nekih prednosti i pogodnosti koje su navedene kao pod -

• Skalabilnost i izolacije - Više namenodes vodoravno vage se u imenski prostor datotečni sustav. To zapravo odvaja količine imenski prostor za korisnike i kategorije primjene te pruža apsolutnu izolaciju.
• Generički usluge Skladištenje - Blok Razina bazen apstrakcija omogućuje arhitektura za izgradnju novih sustava datoteka na vrhu bloka pohrane. Lako možemo izgraditi nove aplikacije na sloju blok za pohranu bez upotrebe sučelje datotečni sustav. Prilagođeno kategorije blok bazena mogu se graditi koji su različiti u odnosu na standardni blok bazenu.
• Jednostavan dizajn - Namenodes i imenskom prostoru su neovisni jedan o drugom. Tu je teško bilo scenarij koji zahtijeva promjenu postojeće ime čvorova. Svaki naziv čvor je izgrađen da bude robustan. Federacija je također kompatibilan. To se lako integrira s postojećim pojedinačnim čvorova implementacijama koje rade bez izmjene konfiguracije.

Konfiguriranje HDF-ovi federacije:

Konfiguracija Hadoop Federacije je projektiran na takav način da su svi čvorovi u klasteru imaju istu konfiguraciju. Konfiguracija se provodi u slijedećim koracima -

• Step 1 - Sljedeći parametri treba dodati u postojeću konfiguraciju -
  • nameservices - To je konfiguriran s popisom odvojene zarezima NameServiceIDs. Ovaj parametar se koristi Datanodes utvrditi sve namenodes u klasteru.
• Step 2 - Sljedeće konfiguracije treba nadodana s odgovarajućim nazivom usluge ID u zajedničku konfiguracijske datoteke.
  • Namenode
  • Secondary NameNode
  • BackupNode

Konfiguracija uzorak datoteka za dvije namenodes prikazan je ispod -

Listing 1: Konfiguracija Primjer datoteke za dva čvora

[Code]

<konfiguracija>

<vlasništvo>

<ime>dfs.nameservices</ime>

<vrijednost>NS1, NS2</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>dfs.namenode.rpc-address.ns1</ime>

<vrijednost>nn-host1:6600</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>dfs.namenode.http-address.ns1</ime>

<vrijednost>nn-host1:8080</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>dfs.namenode.secondaryhttp-address.ns1</ime>

<vrijednost>NHS-host1:8080</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>dfs.namenode.rpc-address.ns2</ime>

<vrijednost>nn-host2:6600</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>dfs.namenode.http-address.ns2</ime>

<vrijednost>nn-host2:8080</vrijednost>

</vlasništvo>

<vlasništvo>

<ime>dfs.namenode.secondaryhttp-address.ns2</ime>

<vrijednost>NHS-host2:8080</vrijednost>

</vlasništvo>

</konfiguracija>

[/Code]

Formatiranja Namenode: Neka nam naredbe za formatiranje namenode.

• Step 1 – Jedan naziv čvora može se oblikovati pomoću sljedeće -

$HADOOP_USER_HOME / bin / HDF-ovi namenode -format [-ClusterId <cluster_id>]

Klaster id trebao biti jedinstven i ne smije biti u sukobu s bilo kojim drugim izlaska klastera id. Ako nije uvjet, jedinstveni klaster ID je generirana u vrijeme oblikovanja.

• Step 2 - Dodatni namenode može formatirati pomoću sljedeće naredbe -

$HADOOP_PREFIX_HOME / bin / HDF-ovi namenode -format -clusterId <cluster_id>

Važno je da se ovdje klaster id ovdje spomenuti bi trebao biti isti za koje je spomenuto u korak 1. Ako ove dvije su različite, dodatni namenode neće biti dio federalne klasteru.

Pokretanje i zaustavljanje klastera: Neka nam provjeriti naredbe za pokretanje i zaustavljanje klastera.

• Početak klaster - Klaster može pokrenuti izvršavanje sljedeće naredbe -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

• Zaustavite klaster - Klaster može zaustaviti izvršenje sljedeće naredbe -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

Dodavanje novog namenode na postojeći klasteru: Već smo opisali da više naziv čvor u srcu Hadoop federacije. Stoga je važno razumjeti korake za dodavanje novih imena čvorova i skaliranje vodoravno.
Sljedeći koraci su potrebni za dodavanje novih namenodes -

• Parametar za konfiguraciju - nameservices Mora se dodati u konfiguraciji.
• NameServiceID treba nadodana u konfiguraciji
• Novi Namenode odnose na config mora biti dodan u konfiguracijskim datotekama.
• Konfiguracijska datoteka treba se propagira na sve čvorove u klasteru.
• Počni novu namenode i srednje namenode
• Osvježi druge datanodes izabrati novo dodano namenode pokretanjem sljedeće naredbe -

o $HADOOP_PREFIX_HOME/bin/hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>

• Gore navedeni naredba se izvršava protiv svih datanodes o klasteru.

Summary: HDF-ovi savez je uvedena u prevladavanju ograničenja ranijih provedbe HDF-ovi. Dodavanje skalabilnost na namespace sloj je najvažnija značajka HDF-ovi federacije arhitekture. No, HDF-ovi federacija je također kompatibilan, tako da je jedna konfiguracija namenode će funkcionirati bez promjena.
Neka nam rezimirati našu raspravu u obliku sljedećih metaka

• HDF-ovi savez razdvaja namenode sloj a sloj za pohranu.
• HDF-ovi savez je dizajniran za prevladavanje ograničenja na jednom čvoru HDF-ovi arhitekturi gdje se skladište može skalirati horizontalno a ne imenski prostor.
• HDF-ovi federacija dolazi sa sljedećim prednostima -
  • Izolacija
  • Scalability
  • Jednostavan dizajn
• HDF-ovi konfiguracija je vrlo jednostavna, a također je jednostavan za upravljanje.