TechAlpine – All About Technology

Overview: Apache Hadoop կարող է տեղադրվել տարբեր եղանակներով ըստ պահանջի. Այս տարբեր ռեժիմներ են կազմաձեւվել ընթացքում տեղադրման. By default, Hadoop է տեղադրվել standalone ռեժիմ. Մյուս ռեժիմներ են Կեղծ բաշխվում ռեժիմ եւ բաշխվում ռեժիմ. Նպատակն այս ձեռնարկը է բացատրել տարբեր տեղադրման ռեժիմներ պարզ այնպես, որ ընթերցողները կարող են հետեւել դրան եւ անում են իրենց սեփական գործը.

In this article, Ես կքննարկեն տարբեր տեղադրման եղանակները եւ դրանց մանրամասները.

Ներածություն: Մենք բոլորս գիտենք, որ Apache Hadoop բաց կոդով շրջանակներ, որոնք թույլ են տալիս բաշխված մշակման մեծ Կոմպլեկտներ տվյալները սահմանված տարբեր կլաստերների, օգտագործելով պարզ ծրագրավորում. Hadoop ունի կարողությունը սանդղակի մինչեւ հազարավոր համակարգիչների ից մեկ սերվերից. Այսպիսով, այս պայմաններում տեղադրում Hadoop դառնում առավել կարեւոր. Մենք կարող ենք տեղադրել Hadoop երեք տարբեր ռեժիմների –

• standalone ռեժիմ – Single Node Կլաստերի
• Կեղծ բաշխվում ռեժիմ – Single Node Կլաստերի
• Բաշխված ռեժիմ. – Մուլտի Node Կլաստերի

Նպատակը տարբեր տեղադրման ռեժիմների: Երբ Apache Hadoop օգտագործվում է որպես արտադրական միջավայրում, սերվերների հանգույցները օգտագործվում են բաշխված computing. Բայց հասկանալու համար հիմունքների եւ խաղում շուրջ Hadoop, Մեկ հանգույցի տեղադրում է բավարար. Կա եւս մեկ ռեժիմ հայտնի է որպես 'Կեղծ բաշխվում’ ռեժիմ. Այս ռեժիմում, որն օգտագործվում է կեղծել բազմաբնակարան հանգույցի միջավայրը մեկ սերվերի.

Այս փաստաթղթում մենք կքննարկենք, թե ինչպես կարելի է տեղադրել Hadoop է Ubunto Linux. Լինի դա ցանկացած եղանակով, որ համակարգը պետք է ունենա Java տարբերակը 1.6.x տեղադրվել է այն.

Standalone ռեժիմ տեղադրում: Now, եկեք ստուգել standalone ռեժիմում տեղադրման գործընթացը հետեւելով քայլերը նշված է ստորեւ.

Տեղադրեք Java –
Java (JDK Տարբերակ 1.6.x) կամ արեւից / Oracle կամ բացել Java պահանջվում.

• Step 1 – Եթե ​​դուք չեք կարող անցնել OpenJDK փոխարեն օգտագործելով սեփականության Sun JDK / JRE, տեղադրել sun-java6 կանոնական գործընկեր Repository օգտագործելով հետեւյալ հրահանգը.

Note: The Կանոնական գործընկեր շտեմարան պարունակում է անվճար ծախսերի փակ աղբյուրի երրորդ կողմի ծրագրային ապահովում. Բայց կանոնական մուտք չունի դեպի կոդով փոխարենը նրանք պարզապես փաթեթի եւ փորձարկել այն.

Ավելացնել կանոնական գործընկերոջը բն պահոցները օգտագործելով –

[Code]

$ sudo add-apt-շտեմարան “դեբյուտանտ http://archive.canonical.com/lucid գործընկեր”

[/Code]

• Step 2 – Թարմացնել աղբյուրի ցուցակը.

[Code]

$ sudo բն - ստանալ թարմացումը

[/Code]

• Step 3 – Տեղադրեք JDK տարբերակ 1.6.x արեւի / Oracle.

[Code]

$ sudo բն-get install Sun-java6-JDK

[/Code]

• Step 4 – Մի անգամ JDK տեղադրումն ավարտված համոզվեք, որ դա ճիշտ է կարգավորում, օգտագործելով – Ծանոթություններ 1.6.x արեւի / Oracle.

[Code]

Օգտվողի անձնագիրը @ Ubuntu:~# java -version java version “1.6.0_45” Java(TM) SE Runtime Environment (կառուցել 1.6.0_45-B02) Java HotSpot(TM) Client VM (կառուցել 16.4 B01, mixed mode, sharing)

[/Code]

Ավելացնել Hadoop Օգտվող

• Step 5 – Ավելացնել նվիրված Hadoop UNIX օգտվողին մեջ ձեր համակարգը, ինչպես նաեւ համաձայն է մեկուսացնել այդ տեղադրման այլ ծրագրային –

[Code]

$ sudo adduser hadoop_admin

[/Code]

Ներբեռնեք Hadoop երկուական եւ տեղադրել

• Step 6 – Բեռնել Apache Hadoop ից apache կայքում. Hadoop գալիս այն ձեւով tar-GX ձեւաչափով. Պատճենեք այս երկուական մեջ / usr / local / installables թղթապանակը. թղթապանակը – installables պետք է ստեղծել առաջին հերթին տակ / usr / տեղական մինչ այս քայլին. Այժմ գործարկել հետեւյալ հրամանները, ինչպես նաեւ sudo

[Code]

$ cd /usr/local/installables $ sudo Tar xzf Hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin / usr / local / Hadoop-0.20.2

[/Code]

Սահմանել Էդվանսդ փոփոխականի – JAVA_HOME

• Step 7 – Բացեք Hadoop կազմաձեւման ֆայլը (hadoop-env.sh) ի վայրում – /usr / local / installables / Hadoop-0.20.2/CONF / hadoop-env.sh եւ սահմանել JAVA_HOME, ինչպես նաեւ մինչեւ

[Code] արտահանման JAVA_HOME = ուղին / որտեղ / JDK / է / տեղադրվել [/Code]

(օրինակ. /usr / bin / Java)

Տեղադրում մեկ ռեժիմում

• Step 8 – Հիմա գնալ դեպի HADOOP_HOME դիրեկտորիայի (վայրը, որտեղ Hadoop արդյունահանվող) եւ գործարկել հետեւյալ հրահանգը.

[Code]

$ bin / Hadoop

[/Code]

Հետեւյալը արտադրանքը կցուցադրվեն -

[Code] օգտագործում: hadoop [–config confdir] ՀՐԱՄԱՆ

[/Code]

Որոշ հրամանի ընտրանքներ նշված են ստորեւ. Կան նաեւ այլ տարբերակներ մատչելի է եւ կարող է ստուգվել, օգտագործելով հրահանգը վերը նշված.

[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility

[/Code]

Վերը արտադրանքը նշում է, որ Standalone տեղադրումը ավարտվել է հաջողությամբ. Այժմ դուք կարող եք առաջադրվելու օրինակելի օրինակներ ձեր ընտրությամբ զանգահարելով -

[Code] $ bin/hadoop jar hadoop-*-examples.jar <ԱՆՈՒՆԸ> <չափանիշեր>[/Code]

Կեղծ բաշխվում ռեժիմ տեղադրում: Սա է simulated բազմաբնակարան հանգույցը միջավայրը հիման վրա մեկ հանգույցի սերվերի.
Այստեղ առաջին քայլն պահանջվում է կարգավորել SSH որպեսզի մուտք գործելու եւ կառավարել տարբեր հանգույցների. Այսպիսով, դա պարտադիր է ունենալ SSH մուտք գործել տարբեր հանգույցների. Երբ SSH է կազմաձեւված, միացված է եւ հասանելի մենք պետք է սկսել configuring է Hadoop. Հետեւյալ կազմաձեւման ֆայլերը պետք է փոփոխվել.

• Conf / միջուկը, site.xml
• Conf / hdfs-site.xml
• CONF / mapred.xml

Բացել բոլոր կազմաձեւման ֆայլերը մենք խմբագիր եւ թարմացնել կոնֆիգուրացիան.

Կարգավորել core-site.xml ֆայլի:

[Code]$ VI CONF / core-site.xml[/Code] [Code]<տեսիլ><սեփականություն><անվանում>fs.default.name</անվանում><արժեք>hdfs://localhost:9000</արժեք></սեփականություն><սեփականություն><անվանում>hadoop.tmp.dir</անվանում><արժեք>/tmp / hadoop- ${user.name}</արժեք></սեփականություն></տեսիլ>[/Code]

Կարգավորել HDFS-site.xml ֆայլի:

[Code]$ VI CONF / HDFS-site.xml[/Code] [Code]<տեսիլ><սեփականություն><անվանում>dfs.replication</անվանում><արժեք>1</արժեք></սեփականություն></տեսիլ>[/Code]

Կարգավորել mapred.xml ֆայլը:

[Code]$ VI CONF / mapred.xml[/Code] [Code]<տեսիլ><սեփականություն><անվանում>mapred.job.tracker</անվանում> <արժեք>localhost:9001</արժեք></սեփականություն></տեսիլ>[/Code] Once these changes are done, մենք պետք է ֆորմատավորելու անունը հանգույց օգտագործելով հետեւյալ հրահանգը. The հրամանատող ցույց կտա բոլոր հաղորդագրությունները մեկը մյուսի եւ, ի վերջո, հաջողության հաղորդագրությունը. [Code]$ bin / Hadoop namenode -format[/Code] Now our setup is done for pseudo distributed node. Եկեք այժմ սկսել է մեկ հանգույցի կլաստերի օգտագործելով հետեւյալ հրահանգը. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Առաջադրանք Լսել[/Code]

Կանգնեցնելով միասնական հանգույցի Կլաստերի: Մենք կարող ենք դադարեցնել մեկ հանգույցի կլաստերի օգտագործելով հետեւյալ հրահանգը. The հրամանատող կցուցադրեն բոլոր դադարեցման գործընթացները.

[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: կանգնեցնում tasktrackerstopping namenodelocalhost: կանգնեցնում datanodelocalhost: կանգնեցնում secondarynamenode[/Code]

Բաշխված ռեժիմ տեղադրում:
Մինչեւ մենք սկսել բաժանվել ռեժիմում տեղադրումը, մենք պետք է ապահովել, որ մենք այդ կեղծ բաժանվել է setup արել, եւ մենք պետք է առնվազն երկու մեքենաներ, մեկը պաշտոնակատար, քանի տիրոջ, իսկ մյուսը հանդես է գալիս որպես ստրուկի. Այժմ մենք վազում հետեւյալ հրամանները հաջորդականությամբ.

· $ bin / stop-all.sh – Համոզվեք, որ ոչ մեկը հանգույցների են վազում

• Բացեք / etc / տանտերերին ֆայլը եւ ավելացնել հետեւյալ Գրառումներ տիրոջ ու ծառայի –

<IP հասցե> master

<IP հասցե> ստրուկ

• $ ssh-copy-id -i $ HOME / .ssh / id_rsa.pub ստրուկ – Այս հրամանը պետք է մահապատժի տիրոջ պետք է passwordless SSH. Մենք պետք է մուտք գործեք, օգտագործելով նույն անունն է բոլոր մեքենաների. Եթե ​​մենք պետք է գաղտնաբառ, մենք կարող ենք սահմանել այն ձեռքով.
• Հիմա մենք բացել երկու ֆայլերը – CONF / վարպետ եւ CONF / ստրուկներ. The CONF / տերը սահմանում անուն հանգույցների մեր բազմաբնակարան հանգույցի կլաստերի. The Conf / ստրուկներ ֆայլը թվարկում տանտերերին, որտեղ Hadoop ստրուկ կլինի վազում.
• Խմբագրել CONF / core-site.xml ֆայլը ունեն հետեւյալ գրառումները –

<սեփականություն>

<անվանում>fs.default.name</անվանում>

<արժեք>hdfs://master:54310</արժեք>

</սեփականություն>

• Խմբագրել CONF / mapred-site.xml ֆայլը ունեն հետեւյալ գրառումները –

<սեփականություն>

<անվանում>mapred.job.tracker</անվանում>

<արժեք>hdfs://master:54311</արժեք>

</սեփականություն>

• Խմբագրել CONF / HDFS-site.xml ֆայլը ունեն հետեւյալ գրառումները –

<սեփականություն>

<անվանում>dfs.replication</անվանում>

<արժեք>2</արժեք>

</սեփականություն>

• Խմբագրել CONF / mapred-site.xml ֆայլը ունեն հետեւյալ գրառումները –

<սեփականություն>

<անվանում>mapred.local.dir</անվանում>

<արժեք>${Hadoop-tmp}/mapred / տեղական</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>mapred.map.tasks</անվանում>

<արժեք>50</արժեք>

</սեփականություն>

<սեփականություն>

<անվանում>mapred.reduce.tasks</անվանում>

<արժեք>5</արժեք>

</սեփականություն>

Այժմ սկսել վարպետ օգտագործելով հետեւյալ հրահանգը.

[Code] bin / start-dfs.sh [/Code]

Երբ սկսվեց, ստուգել կարգավիճակը վրա վարպետի օգտագործելով JPS հրահանգը. Դուք պետք է ստանալ հետեւյալ արտադրանքի

[Code]

14799 NameNode

15314 JPS
16977 secondaryNameNode

[/Code]

Ին ստրուկի արտադրանքը պետք է, քանի որ ցույց է տրված ստորեւ.

[Code]

15183 DataNode
15616 JPS

[/Code]

Հիմա սկսել են MapReduce daemons օգտագործելով հետեւյալ հրահանգը.

[Code]

$ bin / start-mapred.sh

[/Code]

Մի անգամ սկսել ստուգել կարգավիճակը վրա վարպետի օգտագործելով JPS հրահանգը. Դուք պետք է ստանալ հետեւյալ արտադրանքի

[Code]

16017 JPS

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Code]

Եվ ստրուկների արտադրանքը պետք է, քանի որ ցույց է տրված ստորեւ.

[Code]

15183 DataNode

15897 TaskTracker
16284 JPS

[/Code]

Summary: Վերը նշված քննարկման մենք լուսաբանել տարբեր Hadoop տեղադրման եղանակները եւ դրանց տեխնիկական մանրամասները. Բայց մենք պետք է զգույշ լինել, երբ ընտրելով տեղադրման ռեժիմ. Տարբեր ռեժիմներ ունեն իրենց սեփական նպատակին. Այնպես որ սկսնակ պետք է սկսել մեկ ռեժիմում տեղադրման եւ ապա անցնել այլ տարբերակների.
Եկեք ամփոփել մեր քննարկման հետ հետեւյալ փամփուշտներով

• Apache Hadoop կարող է տեղադրվել երեք տարբեր ռեժիմների –
  • Single հանգույց
  • Կեղծ բաշխվում հանգույց
  • Բաշխված հանգույց
• Single ռեժիմում պարզագույն միջոց է տեղադրել եւ սկսել.
• Եթե ​​մենք պետք է կլաստերների, բայց ունեն միայն մեկ հանգույց մատչելի, ապա մենք պետք է գնալ Կեղծ բաշխված ռեժիմում
• Տեղադրել բաժանվել ռեժիմը մենք պետք է կեղծ բաշխվում ռեժիմում տեղադրված առաջին.