TechAlpine – All About Technology

Агляд: Apache Hadoop можа быць усталяваны ў розных рэжымах ў адпаведнасці з патрабаваннем. Гэтыя розныя рэжымы наладжваюцца падчас ўстаноўкі. па змаўчанні, Hadoop усталёўваецца ў Standalone рэжым. іншыя рэжымы псеўда размеркаваная рэжым і размеркаваны рэжым. Мэтай дадзенага кіраўніцтва з'яўляецца тлумачэнне розных рэжымаў ўстаноўкі простым спосабам, так што чытачы могуць ісці за ім і рабіць сваю працу.

In this article, Я буду абмяркоўваць розныя рэжымы ўстаноўкі і іх дэталі.

Увядзенне: Мы ўсе ведаем, што Apache Hadoop з'яўляецца адкрытым зыходным кодам, які дазваляе размеркаваную апрацоўку вялікіх масіваў дадзеных, усталяваных у розных кластарах, выкарыстоўваючы простае праграмаванне. Hadoop мае магчымасць маштабавання да тысяч кампутараў з аднаго сервера. Такім чынам, у гэтых умовах ўстаноўка Hadoop становіцца найбольш важным. Мы можам ўсталяваць Hadoop ў трох розных рэжымах –

• аўтаномны рэжым – Single Cluster Node
• Псеўда размеркаванага рэжыму – Single Cluster Node
• рэжым размеркаванага. – Мульты вузел кластара

Прызначэнне розных рэжымаў ўстаноўкі: Калі Apache Hadoop выкарыстоўваецца ў вытворчай асяроддзі, некалькі вузлоў сервера выкарыстоўваюцца для размеркаваных вылічэнняў. Але для разумення асноў і гуляць з Hadoop, ўстаноўка аднаго вузла дастаткова. Існуе яшчэ адзін рэжым вядомы як "Псеўда размяркоўваецца’ рэжым. Гэты рэжым выкарыстоўваецца для імітацыі асяроддзя Мультиселектором вузлоў на адным серверы.

У гэтым дакуменце мы абмяркуем, як усталяваць Hadoop на Ubunto Linux. Будзь то які-небудзь рэжым, сістэма павінна быць ўстаноўлена Java версіі 1.6.x на ім.

Аўтаномны рэжым ўстаноўкі: Now, давайце праверым аўтаномны працэс ўстаноўкі рэжыму, выканаўшы дзеянні, адзначаныя ніжэй.

ўсталюйце Java –
Ява (JDK версіі 1.6.x) альбо ад Sun / Oracle або Open Java патрабуецца.

• Step 1 – Калі вы не ў стане пераключыцца на OpenJDK замест выкарыстання запатэнтаванай Sun JDK / JRE, ўсталяваць сонечныя java6 ад Canonical Partner Repository, выкарыстоўваючы наступную каманду.

Note: The Canonical Partner Repository змяшчае свабодны ад кошту зачыненым зыходным кодам праграмнае забеспячэнне іншых вытворцаў. Але Canonical не мае доступу да зыходнага кода замест гэтага яны проста спакаваць і пратэставаць яго.

Дадайце кананічнага партнёра па трапным сховішчаў з выкарыстаннем –

[Code]

$ Sudo надбудова apt-рэпазітар “Деб HTTP://archive.canonical.com/lucid партнёр”

[/Code]

• Step 2 – Абнаўленне спісу крыніц.

[Code]

$ Sudo абнаўленне APT-Get

[/Code]

• Step 3 – Ўстаноўка JDK версіі 1.6.x ад Sun / Oracle.

[Code]

$ Sudo APT-атрымаць ўстаноўку ВС-java6-JDK

[/Code]

• Step 4 – Пасля ўстаноўкі JDK скончаны пераканайцеся, што ён правільна наладжаны з дапамогай – версія 1.6.x ад Sun / Oracle.

[Code]

карыстальнік @ убунту:~# java -version java version “1.6.0_45” Ява(TM) SE Runtime Environment (пабудаваць 1.6.0_45-B02) Java HotSpot(TM) Client VM (пабудаваць 16,4-b01, mixed mode, sharing)

[/Code]

Дадаць карыстальніка Hadoop

• Step 5 – Дадаць вылучаны карыстачу Hadoop UNIX ў вашай сістэме, як у адпаведнасці з ізаляваць гэтую ўстаноўку ад іншага праграмнага забеспячэння –

[Code]

$ Sudo AddUser hadoop_admin

[/Code]

Загрузіць бінарны файл Hadoop і ўстаноўкі

• Step 6 – Спампаваць Apache Hadoop з вэб-сайта апаша. Hadoop пастаўляецца ў выглядзе фармату Тар-Gx. Скапіруйце гэты двайковы файл у каталог / USR / мясцовыя / installables тэчку. тэчка – installables павінна быць створана першая ў / USR / мясцовыя да гэтага кроку. Зараз запусціце наступныя каманды Sudo

[Code]

$ cd /usr/local/installables $ SUDO TAR xzf Hadoop-0.20.2.tar.gz $ Sudo Чаун -R hadoop_admin / USR / мясцовыя / Hadoop-0.20.2

[/Code]

Вызначыць зменную ENV – JAVA_HOME

• Step 7 – Адкрыйце файл канфігурацыі Hadoop (hadoop-env.sh) у тым месцы, – /USR / мясцовыя / installables / Hadoop-0.20.2/конф / hadoop-env.sh і вызначаюць JAVA_HOME, як пад -

[Code] экспарт JAVA_HOME = шлях /, дзе / JDK / знаходзіцца / ўстаноўлена [/Code]

(e.g. /USR / бен / Java)

Ўстаноўка ў адзіночным рэжыме

• Step 8 – Зараз перайдзіце ў каталог HADOOP_HOME (месца, дзе здабываецца Hadoop) і запусціце наступную каманду -

[Code]

$ бен / Hadoop

[/Code]

Наступную выснову будзе адлюстроўвацца -

[Code] Usage: Hadoop [–канфігурацыі confdir] КАМАНДА

[/Code]

Некаторыя з опцый каманды згаданыя ніжэй. Ёсць і іншыя варыянты даступныя і могуць быць правераныя з дапамогай каманды згаданай вышэй.

[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility

[/Code]

Прыведзены вышэй выснова паказвае на тое, што аўтаномная ўстаноўка завершана паспяхова. Цяпер вы можаце запусціць ўзор прыклады вашага выбару з дапамогай выкліку -

[Code] $ bin/hadoop jar hadoop-*-examples.jar <NAME> <PARAMS>[/Code]

Псеўда размеркаваная ўстаноўка рэжыму: Гэта імітаваны мульты сераду вузел заснаваны на адным серверы вузла.
Вось першы крок патрабуецца для налады SSH, каб атрымаць доступ і кіраваць рознымі вузламі. Такім чынам, ён з'яўляецца абавязковым, каб мець доступ SSH да розных вузлах. Пасля таго, як SSH сканфігураваны, уключаны і даступны, мы павінны пачаць наладу Hadoop. Наступныя канфігурацыйныя файлы неабходна змяніць -

• конф / ядро-site.xml
• конф / HDFS-site.xml
• конф / mapred.xml

Адкрыйце ўсе файлы канфігурацыі ў мы рэдактар ​​і абнавіць канфігурацыю.

Налада файла ядро-site.xml:

[Code]$ VI конф / ядро-site.xml[/Code] [Code]<канфігурацыя><ўласнасць><імя>fs.default.name</імя><значэнне>HDFS://лакальны:9000</значэнне></ўласнасць><ўласнасць><імя>hadoop.tmp.dir</імя><значэнне>/TMP / hadoop- ${user.name}</значэнне></ўласнасць></канфігурацыя>[/Code]

Налада файла HDFS-site.xml:

[Code]$ VI конф / HDFS-site.xml[/Code] [Code]<канфігурацыя><ўласнасць><імя>dfs.replication</імя><значэнне>1</значэнне></ўласнасць></канфігурацыя>[/Code]

Налада файла mapred.xml:

[Code]$ VI конф / mapred.xml[/Code] [Code]<канфігурацыя><ўласнасць><імя>mapred.job.tracker</імя> <значэнне>лакальны:9001</значэнне></ўласнасць></канфігурацыя>[/Code] Once these changes are done, нам трэба адфарматаваць вузел імя з дапамогай наступнай каманды. Камандны радок пакажа ўсе паведамленні, адзін за адным, і, нарэшце, поспеху паведамленне. [Code]$ бен / Hadoop NameNode -format[/Code] Now our setup is done for pseudo distributed node. Давайце зараз пачнем адзіны вузел кластара з дапамогай наступнай каманды. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Task Tracker[/Code]

Прыпынак кластара аднаго вузла: Мы можам спыніць адзіны вузел кластара з дапамогай наступнай каманды. Камандны радок будзе адлюстроўваць усе працэсы тармазнога шляху.

[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: прыпынак tasktrackerstopping namenodelocalhost: прыпынак datanodelocalhost: прыпынак secondarynamenode[/Code]

Размеркаваны рэжым ўстаноўкі:
Перад тым, як пачаць размеркаванай ўстаноўкі рэжыму, мы павінны гарантаваць, што мы псеўда размеркаванай ўстаноўкі зроблена, і ў нас ёсць па меншай меры дзве машыны, адзін дзеючы ў якасці вядучага прылады, а другі выступае ў якасці кіраванага прылады. Цяпер выканайце наступныя каманды ў паслядоўнасці.

· $ бен / stop-all.sh – Пераканайцеся, што ні адзін з вузлоў не запушчаны

• Адкрыць / і г.д. / хост-файл і дадайце наступныя запісы для вядучага і кіраванага –

<IP-АДРАС> master

<IP-АДРАС> раб

• $ SSH-копія-ID -i $ HOME / .ssh / id_rsa.pub раб – Гэтая каманда павінна быць выканана на майстра, каб мець беспарольны SSH. Мы павінны ўвайсці ў сістэму, выкарыстоўваючы тыя ж імя карыстальніка на ўсіх машынах. Калі нам патрэбен пароль, мы можам ўсталяваць яго ўручную.
• Цяпер мы адкрываем два файла – конф / майстар і конф / рабы. Конф / майстар вызначае імя вузлоў нашага многоузлового кластары. Файл Conf / Рабы пералічаныя хасты, дзе Hadoop падначалены будзе працаваць.
• Зменіце файл конф / ядро-site.xml мець наступныя дадзеныя –

<ўласнасць>

<імя>fs.default.name</імя>

<значэнне>HDFS://master:54310</значэнне>

</ўласнасць>

• Зменіце файл конф / mapred-site.xml мець наступныя дадзеныя –

<ўласнасць>

<імя>mapred.job.tracker</імя>

<значэнне>HDFS://master:54311</значэнне>

</ўласнасць>

• Зменіце файл конф / HDFS-site.xml мець наступныя дадзеныя –

<ўласнасць>

<імя>dfs.replication</імя>

<значэнне>2</значэнне>

</ўласнасць>

• Зменіце файл конф / mapred-site.xml мець наступныя дадзеныя –

<ўласнасць>

<імя>mapred.local.dir</імя>

<значэнне>${Hadoop-TMP}/mapred / мясцовы</значэнне>

</ўласнасць>

<ўласнасць>

<імя>mapred.map.tasks</імя>

<значэнне>50</значэнне>

</ўласнасць>

<ўласнасць>

<імя>mapred.reduce.tasks</імя>

<значэнне>5</значэнне>

</ўласнасць>

Зараз запусціце майстар, выкарыстоўваючы наступную каманду.

[Code] бен / start-dfs.sh [/Code]

пасля запуску, праверыць стан на майстры з дапамогай каманды JPS. Вы павінны атрымаць наступную выснову -

[Code]

14799 NameNode

15314 Jps
16977 secondaryNameNode

[/Code]

На кіраванага выснову павінен быць такім, як паказана ніжэй.

[Code]

15183 DataNode
15616 Jps

[/Code]

Зараз запусціце дэманы MapReduce з дапамогай наступнай каманды.

[Code]

$ бен / start-mapred.sh

[/Code]

Пасля запуску праверкі стану на майстры з дапамогай каманды JPS. Вы павінны атрымаць наступную выснову -

[Code]

16017 Jps

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Code]

І на рабоў выснову павінен быць такім, як паказана ніжэй.

[Code]

15183 DataNode

15897 TaskTracker
16284 Jps

[/Code]

Summary: У прыведзеным вышэй абмеркаванні мы разгледзелі розныя рэжымы ўстаноўкі Hadoop і іх тэхнічныя характарыстыкі. Але мы павінны быць асцярожнымі пры выбары рэжыму ўстаноўкі. Розныя рэжымы маюць свае ўласныя мэты. Такім чынам, пачаткоўцы павінны пачынацца з адной ўстаноўкі рэжыму, а затым працягнуць з іншымі варыянтамі.
Падагульнім наша абмеркаванне з наступнымі куль

• Apache Hadoop можа быць усталяваны ў трох розных рэжымах –
  • аднамесны вузел
  • Псеўда размеркаваных вузлоў
  • размеркаваная вузел
• Адзіночны рэжым з'яўляецца самым простым спосабам усталяваць і пачаць працу.
• Калі нам патрэбныя кластары, але ёсць толькі адзін вузел даступны, то мы павінны пайсці на Псеўда размеркаванай рэжыме
• Для ўстаноўкі размеркаванага рэжыму мы павінны былі ўсталяваць спачатку рэжым псеўда размяркоўваецца.