TechAlpine – All About Technology

Overview: Մենք քաջ գիտակցում ենք, որ հատկանիշները Hadoop եւ HDFS. Այս փաստաթղթում մենք կխոսենք HDFS ֆեդերացիայի, որը օգնում է մեզ բարձրացնել գոյություն ունեցող HDFS ճարտարապետությունը. Այն ապահովում է հստակ տարանջատում անվանատարածքում եւ պահպանման, այդպիսով հնարավորություն է տալիս scalability եւ մեկուսացումը կլաստերի մակարդակով.

Ներածություն: Hadoop ֆեդերացիան բաժանում է Անվանատարածք շերտ իսկ պահեստավորման շերտի. Այն հնարավորություն է տալիս թաղամաս պահեստային շերտը. Այն նաեւ ընդլայնում է ճարտարապետությունը գոյություն ունեցող HDFS կլաստերի թույլ կտա նոր implementations եւ օգտագործման դեպքեր. Ներկայիս HDFS ճարտարապետությունը ունի երկու մակարդակ -

• Անվանատարածք - Այս շերտը ղեկավարում ֆայլեր, դիրեկտորիաների ու բլոկներ. Այս շերտը պաշտպանում է հիմնական ֆայլը համակարգի գործողությունները օրինակ. ցուցակման ֆայլերի, ստեղծումը ֆայլերի, փոփոխումը ֆայլերը եւ հանումը ֆայլերը եւ թղթապանակների.
• Block Storage - Այս շերտը բաղկացած է երկու մասից.
  • Արգելափակել Management Այս ղեկավարում է datanodes է կլաստերի եւ ապահովում գործողություններ, ինչպես ստեղծման, ջնջում, փոփոխումը եւ որոնման. Այն նաեւ հոգ է տանում replication կառավարման.
  • Ֆիզիկական Storage Այս հիշում է նյութից եւ ապահովում է հասանելիություն կարդալ կամ գրել գործողությունների.

Figure 1: An HDFS Կլաստերի

Է ընթացիկ HDFS ճարտարապետության, մենք ունենք միայն մեկ անվանատարածք ամբողջ կլաստերի որը կառավարվում է մեկ անունով հանգույց. Օգտագործելով այս մոտեցումը, դա դառնում է ավելի հեշտ է իրականացնել HDFS կլաստերի. Այս layering ճարտարապետության աշխատում տուգանք փոքր setups, իսկ խոշոր կազմակերպություններում, որտեղ մի մեծ ծավալը տվյալների պետք է ձեռնարկվեն խնամք է արագ արագությամբ, օրինակ. Yahoo եւ Facebook պարզվել է, որ այդ մոտեցումը ունի որոշ սահմանափակումներ, որոնք վարվել են Hadoop ֆեդերացիայի. Այնպես որ, Hadoop ֆեդերացիան կարող է սահմանվել որպես առաջադեմ ճարտարապետության հաղթահարել սահմանափակումներ ընթացիկ HDFS իրականացման.

Եկեք ստուգել սահմանափակումներ, ինչպես նաեւ բացատրեց, թե ստորեւ

• Սերտորեն զուգորդված Block Պահպանման եւ Անվանատարածք - Ի Ընթացիկ ճարտարապետության թաղամաս պահեստավորման եւ Անվանատարածք սերտորեն զուգորդված, որը ստիպում է այլընտրանքային ընթացք անունը հանգույցների բողոքարկելու եւ սահմանափակում այլ ծառայություններ է օգտագործել շրջափակման պահեստավորման անմիջականորեն.
• Անվանատարածք Scalability - The HDFS Կլաստերի կշեռքներ հորիզոնական, ավելացնելով datanodes, սակայն մենք չենք կարող ավելացնել անվանատարածք գոյություն ունեցող կլաստերի հորիզոնական. Մենք կարող ենք լայնածավալ Անվանատարածք ուղղահայաց մեկ namenode. The namenode պահում ամբողջական ֆայլի համակարգի մետատվյալներ շրջանակներում իր հիշողության, ինչը սահմանափակում է թվով բլոկների, ֆայլերը եւ տեղեկագրքեր է աջակցել ֆայլի համակարգ, որը պետք է տեղավորվեն, ի հիշատակ միասնական namenode.

• Performance - Ընթացիկ ֆայլի համակարգի գործողությունները սահմանափակված են դեպի թողունակության մեկ անունով հանգույց, որը ներկայումս աջակցում 60000 համանման խնդիրները. Բայց նոր գալիս քարտեզը նվազեցնել մինչեւ Apache կունենանք աջակցություն է ավելի քան 100000 համանման խնդիրները եւ դրանով պահանջում բազմաթիվ հանգույցները.

• Մեկուսացում - Ընդհանուր առմամբ, որ HDFS deployments հասանելի են բազմաբնակարան վարձակալի միջավայրում, որտեղ մի կլաստերի, որը կիսում է բազմաթիվ կազմակերպությունների. Այս setup մի առանձին անվանակարգ հնարավոր չէ մեկ դիմումի կամ մեկ կազմակերպության.

HDFS ֆեդերացիա:

Hadoop ֆեդերացիան թույլ է տալիս չափումը օժանդակում անունը ծառայությունը հորիզոնական. Այն օգտագործում է մի քանի namenodes կամ անվանահատվածները որոնք միմյանցից անկախ. Սրանք Անկախ namenodes Federated i.e. նրանք չեն պահանջում inter համակարգումը. Այս datanodes օգտագործվում են որպես միասնական պահպանման կողմից բոլոր namenodes. Յուրաքանչյուր datanode գրանցված բոլոր namenodes է կլաստերի. Այս datanodes ուղարկել պարբերական հաշվետվություններ, եւ արձագանքում է հրամանների այն անունը հանգույցների. Մենք ունենք շրջափակման ավազան, որը մի շարք բլոկների, որ պատկանում են մեկ անվանատարածքում. Մի կլաստերի, որ datanodes խանութներ արգելափակում բոլոր բլոկի լողավազաններ. Յուրաքանչյուր թաղամաս Pool կառավարվում է ինքնուրույն. Սա հնարավորություն է տալիս անունը տարածք է առաջացնում թաղամաս id- ները նոր բլոկների, առանց տեղեկացնելու այլ անվանահատվածները. Եթե ​​մեկը namenode չկարողանա որեւէ պատճառով, որ datanode շարունակում է ծառայում այլ namenodes.

Մեկ Անվանատարածք եւ նրա բլոկ են միասին կոչվում Անվանատարածք Volume. Երբ մի Անվանատարածք կամ namenode, որը ջնջվել է համապատասխան թաղամաս լողավազան է datanode ջնջվել է ավտոմատ կերպով. Այդ գործընթացում կլաստերի մինչեւ աստիճանավորում, յուրաքանչյուրը Անվանատարածք ծավալը շենացրել որպես միավոր.

Figure 2: An HDFS ֆեդերացիան ճարտարապետությունը

Առավելությունները Hadoop ֆեդերացիայի:

Hadoop ֆեդերացիան հանդես է գալիս որոշ առավելությունների եւ նպաստների, որոնք թվարկված են որպես տակ -

• Scalability եւ մեկուսացման Multiple namenodes հորիզոնական կշեռքներ մինչեւ ֆայլի համակարգի անվանատարածքում. Սա, ըստ էության բաժանում Անվանատարածք ծավալները օգտվողների համար եւ կատեգորիաների կիրառման եւ ապահովում է բացարձակ մեկուսացումը.
• Ընդհանուր Storage Service - Թաղամաս մակարդակը լողավազան աբստրակցիա թույլ է տալիս ճարտարապետությունը պետք է կառուցել նոր ֆայլի համակարգերի գագաթին բլոկ պահեստավորման. Մենք կարող ենք հեշտությամբ ստեղծել նոր ծրագրեր բլոկի պահեստավորման շերտի, առանց օգտագործելու ֆայլի համակարգի ինտերֆեյսը. Պատվերով կատեգորիաները block լողավազանում կարող է նաեւ կառուցվել, որոնք տարբերվում են լռելյայն շրջափակման լողավազանում.
• Simple Design - Namenodes եւ անվանատարածքներ են միմյանցից անկախ. Կա հազիվ թե որեւէ սցենար, որը պահանջում է փոխվում առկա անունը հանգույցների. Յուրաքանչյուր անունը հանգույց, որը կառուցվել է լինի առողջ. Դաշնակցությունը նաեւ հետամնաց համատեղելի. Այն հեշտությամբ ինտեգրվել առկա միայնակ հանգույցի deployments, որոնք աշխատում են առանց որեւէ կազմաձեւման փոփոխությունների.

Configuring է HDFS Federation:

Կոնֆիգուրացիա Hadoop ֆեդերացիայի, որը նախատեսված է այնպես, որ բոլոր հանգույցները կլաստերի ունեն նույն կոնֆիգուրացիան. Կոնֆիգուրացիա իրականացվում է հետեւյալ քայլերի

• Step 1 - Հետեւյալ պարամետրերը պետք է ավելացվի գոյություն ունեցող կազմաձեւման -
  • nameservices - Սա կազմաձեւված մի ցուցակում ստորակետով առանձնացված NameServiceIDs. Այս պարամետրը օգտագործվում է Datanodes է որոշելու, թե բոլոր namenodes է կլաստերի.
• Step 2 - Հետեւյալ configurations հարկավոր է գնի հաստատում suffixed համապատասխան անունը սպասարկման ID պալատէն կազմաձեւման ֆայլը.
  • Namenode
  • Secondary NameNode
  • BackupNode

Նմուշ կոնֆիգուրացիայի ֆայլը երկու namenodes բերված է ստորեւ.

Listing 1: A Sample կոնֆիգուրացիայի ֆայլը երկու հանգույցների

[Code]

<տեսիլ>

<սեփականություն>

<անվանում>dfs.nameservices</անվանում>

<արժեք>ns1, ns2</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>dfs.namenode.rpc-address.ns1</անվանում>

<արժեք>nn-host1:6600</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>dfs.namenode.http-address.ns1</անվանում>

<արժեք>nn-host1:8080</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>dfs.namenode.secondaryhttp-address.ns1</անվանում>

<արժեք>NHS-host1:8080</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>dfs.namenode.rpc-address.ns2</անվանում>

<արժեք>nn-host2:6600</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>dfs.namenode.http-address.ns2</անվանում>

<արժեք>nn-host2:8080</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>dfs.namenode.secondaryhttp-address.ns2</անվանում>

<արժեք>NHS-host2:8080</արժեք>

</սեփականություն>

</տեսիլ>

[/Code]

Ձեւավորման Namenode: Թող մեզ հրամանները ձեւաչափեք namenode.

• Step 1 – Մեկ անունը հանգույց կարելի է ձեւափոխել, օգտագործելով հետեւյալը -

$HADOOP_USER_HOME / bin / HDFS namenode -format [-clusterId <cluster_id>]

Կլաստերի id պետք է լինի եզակի է եւ չպետք է հակասի որեւէ այլ փակել կլաստերի id. Եթե ​​չի տրամադրվել, եզակի Կլաստերի id գեներացվում պահին չափագրումը.

• Step 2 - Լրացուցիչ namenode կարելի է ձեւափոխել, օգտագործելով հետեւյալ հրահանգը.

$HADOOP_PREFIX_HOME / bin / HDFS namenode -format -clusterId <cluster_id>

Կարեւոր է, այստեղ է, որ կլաստերային id - նշեց այստեղ պետք է լինի նույնը, որ նշված է քայլ 1. Եթե ​​այս երկու տարբեր են, լրացուցիչ namenode չի լինի մասն է ֆեդերատիվ կլաստերի.

Սկսած եւ կասեցնել կլաստերի: Եկեք ստուգել հրամանները սկսել եւ դադարեցնել կլաստերի.

• Սկսել կլաստերի - Կլաստերի կարող է սկսել, կատարելով հետեւյալ հրահանգը.

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

• Դադարեցրեք կլաստերի - Կլաստերի կարող է դադարեցվել, կատարելով հետեւյալ հրամանը -

$HADOOP_PREFIX_HOME / bin / start-dfs.sh

Ավելացնել նոր namenode գոյություն ունեցող կլաստերի: Մենք արդեն նկարագրված է, որ բազմակի անունը ուռուցք գտնվում է սրտում Hadoop ֆեդերացիայի. Այնպես որ, դա կարեւոր է հասկանալ, որ քայլեր է ավելացնել նոր անուն հանգույցների եւ մասշտաբով հորիզոնական.
Հետեւյալ քայլեր են անհրաժեշտ է ավելացնել նոր namenodes -

• The կոնֆիգուրացիա պարամետր - nameservices հարկավոր է գնի ավելացվել է կազմաձեւման.
• NameServiceID պետք է suffixed է կազմաձեւման
• Նոր Namenode կապված է config մեջ պետք է կազմաձեւման ֆայլեր.
• Կազմաձեւման ֆայլը պետք է քարոզվում բոլոր հանգույցների պարս.
• Սկսեք նոր namenode եւ երկրորդային namenode
• Թարմացնել այլ datanodes վերցնել նոր ավելացված namenode վազում հետեւյալ հրահանգը.

O $ HADOOP_PREFIX_HOME / bin / HDFS dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>

• Վերը նշված հրամանը պետք է մահապատժի դեմ բոլոր datanodes վրա կլաստերի.

Summary: HDFS ֆեդերացիան արդեն ներկայացրել է հաղթահարել սահմանափակումներ վաղ HDFS իրականացման. Ավելացնելով, scalability է անվանատարածքի շերտի ամենակարեւոր առանձնահատկությունն HDFS ֆեդերացիայի ճարտարապետության. Բայց HDFS ֆեդերացիան նաեւ հետամնաց համատեղելի, ուստի միասնական namenode կոնֆիգուրացիա կաշխատի նաեւ առանց որեւէ փոփոխությունների.
Եկեք ամփոփել մեր քննարկում ձեւով հետեւյալ փամփուշտներով

• HDFS ֆեդերացիան բաժանում է namenode շերտը եւ պահեստավորման շերտի.
• HDFS ֆեդերացիան, որը նախատեսված է հաղթահարել սահմանափակումներ է մեկ հանգույցի HDFS ճարտարապետության, որտեղ պահեստավորման կարող լայնածավալ մինչեւ հորիզոնական ոչ անվանատարածքում.
• HDFS ֆեդերացիան հանդես է գալիս մինչեւ հետեւյալ առավելությունները -
  • մեկուսացում
  • Scalability
  • Պարզ դիզայն
• HDFS կոնֆիգուրացիա շատ պարզ է եւ նույնպես հեշտ է կառավարել.