TechAlpine – All About Technology

Baxış: Biz Hadoop və HDFS xüsusiyyətləri yaxşı bilirik. Bu sənəddə biz mövcud HDFS memarlıq artırmaq üçün kömək edir HDFS federasiya danışacaqlar. Bu ad və saxlanması arasında aydın ayrılması təmin beləliklə cluster səviyyədə genişlənmə və təcrid imkan verir.

Giriş: Hadoop federasiya ayırır namespace qat və storage qat. Bu blok storage qat verir. O, həmçinin tətbiq və istifadə halları yeni imkan mövcud HDFS çoxluq memarlıq genişləndirir. Cari HDFS memarlıq iki qat var -

• Adlar fəzası - Bu qat faylları idarə, rehberler və blokları. Bu qat əsas fayl sistemi əməliyyatları e.g dəstəkləyir. faylları listing, faylları yaradılması, faylları və qovluqları faylları modifikasiyası və silinməsi.
• Block Storage - Bu qat iki hissədən ibarətdir -
  • Block Management Bu çoxluq datanodes idarə və yaradılması kimi əməliyyatları təmin edir, silinməsi, modifikasiyası və axtarış. O, həmçinin təkrarlanması idarə qayğı.
  • Fiziki Storage Bu blokları mağazalar və oxumaq və ya yazmaq əməliyyatları üçün girişi təmin edir.

Figure 1: An HDFS cluster

Cari HDFS memarlıq, biz bir ad node tərəfindən idarə olunur, bütün cluster üçün yalnız bir ad var. Bu yanaşma istifadə edərək, HDFS çoxluq həyata keçirmək daha asan olur. böyük təşkilatlar üçün məlumatların böyük həcmi sürətli sürətlə qayğı olmalıdır harada isə memarlıq Bu layering kiçik setups üçün gözəl işləyir, e.g. yahoo və Facebook bu yanaşma Hadoop federasiya tərəfindən idarə olunur ki, bəzi məhdudiyyətlər var ki, aşkar edilmişdir. Belə ki, Hadoop federasiya cari HDFS həyata məhdudiyyətlər aradan qaldırmaq üçün qabaqcıl memarlıq kimi müəyyən edilə bilər.

aşağıda izah kimi bizə məhdudiyyətlər yoxlamaq edək -

• Temaları Block Storage və Adlar fəzası coupled - Cari memarlıq Block saxlama və Adlar fəzası sıx çətin adı qovşaqlarının alternativ tətbiq edir və birbaşa blok storage istifadə digər xidmətlər məhdudlaşdırır olan coupled olunur.
• Adlar fəzası miqyaslaşdırma - HDFS cluster datanodes əlavə üfüqi tərəzi lakin biz üfüqi mövcud çoxluq daha çox ad əlavə edə bilməz. Biz bir namenode haqqında namespace şaquli miqyaslı bilər. namenode bloklarının sayı məhdudlaşdırır onun yaddaş ərzində tam fayl sistemi metadata mağazalar, faylları və dizinleri bir namenode xatirəsinə məskunlaşmış olmalıdır fayl sistemi dəstəklənir olunacaq.

• Performance - Cari fayl sistemi əməliyyatları bir ad node ötürücülük məhduddur indiki dayaqlar olan 60000 paralel vəzifələri. Lakin yeni gələn Xəritə daha çox dəstək olacaq Apache azaltmaq 100000 beləliklə paralel vəzifələri və birdən çox qovşaqlarının tələb edir.

• Təcrid olunma - Ümumiyyətlə HDFS applications bir cluster çox təşkilatlar tərəfindən paylaşılan bir çox icarəçi ətraf mühit mövcuddur. Bu quraşdırma bir ayrı ad bir proqram və ya bir təşkilat üçün mümkün deyil.

HDFS Federation:

Hadoop federasiya üfüqi adı xidmət scaling verir. Bu bir-birindən müstəqil bir neçə namenodes ya namespaces istifadə edir. Bu Independent namenodes var Federal İ.E. Onlar tələb etmir inter koordinasiya. Bu datanodes bütün namenodes ortaq anbar kimi istifadə olunur. Hər datanode çoxluq bütün namenodes qeydiyyatdan. Bu datanodes adı qovşaqlarının olan əmrləri dövri hesabat göndərmək və cavab. Biz bir ad aid blokları bir sıra bir blok hovuz var. bir çoxluq, bütün məhəllə hovuzlar üçün datanodes Mağazalar blokları. Hər bir blok hovuz müstəqil idarə olunur. Bu, digər namespaces məlumat olmadan yeni blokları blok kimlikleri yaratmaq adı yer verir. bir namenode hər hansı bir səbəbdən etmədikdə, datanode digər namenodes olan xidmət saxlayır.

One ad və blok kollektiv deyilir Adlar fəzası Volume. Bir ad və ya bir namenode silinmiş zaman datanode da müvafiq blok hovuz avtomatik silinir. cluster up-gradation prosesində, Hər ad həcmi vahidi kimi təkmilləşdirilmiş.

Figure 2: An HDFS federasiya memarlıq

Hadoop Federasiyası üstünlükləri:

Hadoop federasiya altında listelenen bəzi üstünlükləri və faydaları ilə gəlir -

• Genişlənmə və Isolation - Birden çox namenodes üfüqi fayl sistemi ad qədər tərəzi. Bu, həqiqətən, istifadəçilər və tətbiqi kateqoriyaları üçün ad həcmi ayırır və mütləq təcrid edir.
• Generic Storage Service - block səviyyəli hovuz abstraksiya memarlıq blok saxlama üst yeni fayl sistemi yaratmaq üçün imkan verir. Biz asanlıqla fayl sistemi interface istifadə etmədən blok storage qat yeni applications inşa edə bilərsiniz. blok hovuz Özel kateqoriyalar də default blok hovuz fərqli olan inşa edilə bilər.
• Simple Design - Namenodes və namespaces bir-birindən müstəqil. Mövcud adı qovşaqlarının dəyişən tələb edən hər hansı ssenari çətin var. Hər bir ad node möhkəm olması üçün inşa edilmişdir. Federasiya də uyğun geri. Bu asanlıqla hər hansı bir konfiqurasiya dəyişikliklər olmadan işləmək mövcud bir node applications ilə inteqrasiya.

bir HDFS Federasiyası Nizamlama:

Hadoop Federasiyasının Konfiqurasiya çoxluq bütün qovşaqlarının eyni konfiqurasiya var, belə bir şəkildə nəzərdə tutulmuşdur. konfiqurasiya aşağıdakı addımlar həyata keçirilir -

• Step 1 - Aşağıdakı parametrləri mövcud konfiqurasiya əlavə etmək lazımdır -
  • nameservices - Bu vergül ayrılmış NameServiceIDs siyahısı ilə yapılandırılmış. Bu parametr çoxluq bütün namenodes müəyyən etmək üçün Datanodes tərəfindən istifadə olunur.
• Step 2 - Aşağıdakı konfiqurasiyaları ümumi konfiqurasiya faylı müvafiq adı xidmət ID dilindəki olmalıdır.
  • Namenode
  • Secondary NameNode
  • BackupNode

iki namenodes üçün nümunə konfiqurasiya faylı aşağıda göstərilir -

Listing 1: iki qovşaqlarının üçün bir nümunə konfiqurasiya faylı

[Code]

<konfiqurasiya>

<əmlak>

<ad>dfs.nameservices</ad>

<dəyər>ns1, ns2</dəyər>

</əmlak>

<əmlak>

<ad>dfs.namenode.rpc-address.ns1</ad>

<dəyər>nn-host1:6600</dəyər>

</əmlak>

<əmlak>

<ad>dfs.namenode.http-address.ns1</ad>

<dəyər>nn-host1:8080</dəyər>

</əmlak>

<əmlak>

<ad>dfs.namenode.secondaryhttp-address.ns1</ad>

<dəyər>NHS-host1:8080</dəyər>

</əmlak>

<əmlak>

<ad>dfs.namenode.rpc-address.ns2</ad>

<dəyər>nn-host2:6600</dəyər>

</əmlak>

<əmlak>

<ad>dfs.namenode.http-address.ns2</ad>

<dəyər>nn-host2:8080</dəyər>

</əmlak>

<əmlak>

<ad>dfs.namenode.secondaryhttp-address.ns2</ad>

<dəyər>NHS-host2:8080</dəyər>

</əmlak>

</konfiqurasiya>

[/Code]

Namenode Üslub: Bizə format namenode əmrləri edək.

• Step 1 – Bir ad node aşağıdakı istifadə biçimlendirilmiş bilər -

$HADOOP_USER_HOME / bin / HDFS namenode -format [-clusterId <cluster_id>]

cluster id unikal olmalıdır və hər hansı digər mövcud cluster id zidd olmamalıdır. təmin varsa, unikal klaster id biçimlendirme zamanı yaradılan.

• Step 2 - Əlavə namenode aşağıdakı funksiyanı istifadə edərək, biçimlendirilmiş bilər -

$HADOOP_PREFIX_HOME / bin / HDFS namenode -format -clusterId <cluster_id>

Burada qeyd çoxluq id qeyd ki, eyni olmalıdır ki, burada əhəmiyyətli olan addım 1. Bu iki fərqli olarsa, əlavə namenode federasiya çoxluq hissəsi olmayacaq.

Başlanğıc və çoxluq dayandırılması: Bizə başlamaq əmrləri yoxlamaq edək və çoxluq stop.

• çoxluq Start - cluster aşağıdakı funksiyanı icra tərəfindən açılmış bilər -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

• çoxluq Stop - cluster aşağıdakı funksiyanı icra ilə dayandırıla bilər -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

Mövcud klaster yeni namenode əlavə et: Biz artıq neçə adı node Hadoop federasiya qəlbində olduğunu təsvir. Belə ki, yeni ad qovşaqlarının əlavə və üfüqi miqyaslı addımlar anlamaq üçün vacibdir.
Aşağıdakı addımlar yeni namenodes əlavə etmək üçün tələb olunur -

• konfiqurasiya parametri - nameservices konfiqurasiya əlavə olmalıdır.
• NameServiceID konfiqurasiya dilindəki olmalıdır
• config aid New Namenode konfiqurasiya faylları əlavə olunmalıdır.
• konfiqurasiya faylını çoxluq bütün qovşaqlarının təbliğ edilməlidir.
• yeni namenode və orta namenode Start
• aşağıdakı funksiyanı çalışan yeni əlavə namenode seçin digər datanodes Yenile -

o $HADOOP_PREFIX_HOME/bin/hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>

• Yuxarıda komanda çoxluq bütün datanodes qarşı icra olunmalıdır.

Summary: HDFS federasiya əvvəllər HDFS həyata məhdudiyyətlər aradan qaldırmaq üçün təqdim olunub. HDFS federasiya memarlığının ən əhəmiyyətli xüsusiyyəti namespace qat genişlənmə durub. Amma HDFS federasiya da geri uyğun deyil, belə bir namenode konfiqurasiya də heç bir dəyişiklik olmadan işləyəcək.
aşağıdakı güllə şəklində bizim müzakirə yekunlaşdırmaq edək

• HDFS federasiya ayırır namenode qat və storage qat.
• HDFS federasiya storage üfüqi deyil ad klikləyin edə bilərsiniz bir node HDFS memarlıq məhdudiyyətlər aradan qaldırmaq üçün nəzərdə tutulmuşdur.
• HDFS federasiya aşağıdakı üstünlüklərə ilə gəlir -
  • Təcrid olunma
  • Scalability
  • Simple Design
• HDFS konfiqurasiya çox sadə və həmçinin idarə etmək asandır.