TechAlpine – All About Technology

Преглед: Apache Hadoop могат да бъдат инсталирани в различни режими, както на изискването. Тези различни режими са конфигурирани по време на инсталацията. По подразбиране, Hadoop е инсталиран в Standalone вид. Другите видове са Псевдо разпределена режим и разпределена вид. Целта на този урок е да обясни различните видове монтаж по прост начин, така че читателите могат да го следват и да вършат своята работа.

In this article, Аз ще обсъдят различните видове монтаж и техните детайли.

Въвеждане: Ние всички знаем, че Apache Hadoop е рамка с отворен код, което позволява разпределена обработка на големи набори от данни, определени в различните клъстери, използвайки лесно програмиране. Hadoop има способността да се мащабира до хиляди компютри от един сървър. Така в тези условия монтаж на Hadoop става най-критична. Ние можем да инсталирате Hadoop в три различни режима –

• Standalone режим – Cluster един възел
• Псевдо разпределени режим – Cluster един възел
• Разпределени режим. – Multi Node Cluster

Цел на различни режими за монтаж: Когато Apache Hadoop се използва в производствена среда, множество сървърни възли се използват за разпределени изчисления. Но за разбиране на основите и да си поиграете с Hadoop, инсталация един възел е достатъчно. Има и друг режим, известен като "Псевдо разпределена’ вид. Този режим се използва за симулиране на мулти възел среда на един сървър.

В този документ, ние ще обсъдим как да инсталирате Hadoop на Ubunto Linux. Да е всеки режим, системата трябва да имате инсталиран Java версия 1.6.x върху него.

монтаж Standalone режим: Now, нека да провери самостоятелен процес инсталация режим, като следвате стъпките, посочени по-долу.

Инсталиране на Java –
Ява (JDK версия 1.6.x) или от Sun / Oracle или Open Java е необходима.

• Step 1 – Ако не сте в състояние да преминат към OpenJDK, вместо да използват патентовани Sun JDK / JRE, инсталиране на слънчеви java6 от Canonical Partner Repository чрез използване на следната команда.

Note: The Canonical Partner Repository съдържа безплатно на разходите затворен код софтуер на трети лица. Но Canonical не разполага с достъп до изходния код, вместо те просто го опакова и тестват.

Добави каноничната партньор на ап хранилища, използващи –

[Code]

$ Sudo добавите-ап-хранилище “Дебютантка HTTP://archive.canonical.com/lucid партньор”

[/Code]

• Step 2 – Актуализиране на списъка на източник.

[Code]

$ Sudo актуализация ап-да

[/Code]

• Step 3 – Инсталиране на JDK версия 1.6.x от Sun / Oracle.

[Code]

$ ап-да инсталирате слънчеви java6-JDK

[/Code]

• Step 4 – След JDK инсталация е над уверете се, че той е настроен правилно използване – версия 1.6.x от Sun / Oracle.

[Code]

потребител @ Ubuntu:~# java -version java version “1.6.0_45” Ява(TM) SE Runtime Environment (изграждане 1.6.0_45-B02) Java HotSpot(TM) Client VM (изграждане на 16,4-B01, mixed mode, sharing)

[/Code]

Добави Hadoop User

• Step 5 – Добави специален потребител Hadoop UNIX в ви система, както под, за да се изолира тази инсталация от друг софтуер –

[Code]

$ Sudo adduser hadoop_admin

[/Code]

Изтеглете Hadoop двукомпонентни и инсталиране

• Step 6 – Свали Apache Hadoop от уеб сайта на Apache. Hadoop идва под формата на катран-GX формат. Копирайте този двоичен в / ЮЕсАр / местни / installables папка. папката – първо трябва да се създадат installables под / ЮЕсАр / местни преди тази стъпка. Сега изпълнете следните команди като Sudo

[Code]

$ cd /usr/local/installables $ Sudo катран xzf Hadoop-0.20.2.tar.gz $ Sudo chown -R hadoop_admin / ЮЕсАр / местни / Hadoop-0.20.2

[/Code]

Определете ENV променлива – JAVA_HOME

• Step 7 – Отворете конфигурационния файл Hadoop (hadoop-env.sh) на мястото – /ЮЕсАр / местни / installables / Hadoop-0.20.2/конф / hadoop-env.sh и определи JAVA_HOME като под -

[Code] износ JAVA_HOME = път / където / JDK / е / инсталирана [/Code]

(например. /ЮЕсАр / хамбар / Java)

Монтаж в единния режим

• Step 8 – Сега отидете в директорията на HADOOP_HOME (място, където се извлича Hadoop) и изпълнете следната команда -

[Code]

$ бин / Hadoop

[/Code]

Ще се покаже следния изход -

[Code] Usage: Hadoop [–довереник confdir] COMMAND

[/Code]

Някои от опциите на командата са споменати по-долу. Има и други възможности, които съществуват и може да се провери с помощта на командата споменато по-горе.

[Code] namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility

[/Code]

Горната изхода показва, че Standalone инсталацията завърши успешно. Сега можете да стартирате примерните образци на вашия избор на повикване -

[Code] $ bin/hadoop jar hadoop-*-examples.jar <NAME> <Поколения назад>[/Code]

Псевдо разпределена инсталация режим: Това е симулирана мулти възел среда на базата на един сървър възел.
Ето първата необходима стъпка е да изберете и хуманитарни науки, за да имат достъп и управление на различни възли. Така че е задължително да имат достъп SSH към различните възли. След като SSH е конфигуриран, активирана и е достъпна ние трябва да започне конфигуриране на Hadoop. Следните конфигурационни файлове трябва да бъдат променени -

• CONF / основна site.xml
• CONF / hdfs site.xml
• конф / mapred.xml

Отваряне на всички конфигурационни файлове на в ние редактор и актуализиране на конфигурацията.

Конфигуриране на ядрото-site.xml файл:

[Code]$ VI конф / ядро-site.xml[/Code] [Code]<конфигурация><имот><име>fs.default.name</име><стойност>hdfs://Localhost:9000</стойност></имот><имот><име>hadoop.tmp.dir</име><стойност>/TMP / hadoop- ${user.name}</стойност></имот></конфигурация>[/Code]

Конфигуриране hdfs-site.xml файл:

[Code]$ VI конф / hdfs-site.xml[/Code] [Code]<конфигурация><имот><име>dfs.replication</име><стойност>1</стойност></имот></конфигурация>[/Code]

Конфигуриране mapred.xml файл:

[Code]$ VI конф / mapred.xml[/Code] [Code]<конфигурация><имот><име>mapred.job.tracker</име> <стойност>Localhost:9001</стойност></имот></конфигурация>[/Code] Once these changes are done, ние трябва да форматирате възел име, като използвате следната команда. команден ред ще покаже всички съобщения едно след друго и накрая успех съобщение. [Code]$ бин / Hadoop namenode -format[/Code] Now our setup is done for pseudo distributed node. Нека сега да започне един възел клъстер чрез използване на следната команда. It will again show some set of messages on the command prompt and start the server process. [Code]$ /bin/start-all.sh[Code] Now we should check the status of Hadoop process by executing the jps command as shown below. It will show all the running processes. [Code]$ jps 14799 NameNode14977 SecondaryNameNode 15183 DataNode15596 JobTracker15897 Task Tracker[/Code]

Спирането на единния клъстер възел: Ние може да спре един възел клъстер чрез използване на следната команда. команден ред ще покаже всички процеси на спирачния път.

[Code]$ bin/stop-all.sh stopping jobtrackerlocalhost: спиране tasktrackerstopping namenodelocalhost: спиране datanodelocalhost: спиране secondarynamenode[/Code]

Разпределени инсталация режим:
Преди да започнете инсталацията на разпределени режим, ние трябва да гарантираме, че сме направили настройката на псевдо разпределени и ние имаме най-малко две машини, един действащ като господар, а другият действа като роб. Сега изпълнете следните команди в последователност.

· $ бин / stop-all.sh – Уверете се, че нито един от възлите използвате

• Отвори / и т.н. / източници и добавете следните вписвания за господар и роб –

<IP АДРЕС> master

<IP АДРЕС> роб

• $ SSH-копие-ID -i $ HOME / .ssh / id_rsa.pub роб – Тази команда трябва да бъде изпълнена на майстор, за да имат passwordless SSH. Ние трябва да се логнете като използвате същото потребителско име за всички машини. Ако имаме нужда от парола, можем да го зададете ръчно.
• Сега ние отваряме двата файла – конф / майстор и конф / роби. The конф / Капитанът определя името възли на нашия мулти възел клъстер. Файлът Conf / роби изброява домакините, където Hadoop Slave ще се работи.
• Редактирайте конф / ядро-site.xml файл, за да имат следните вписвания –

<имот>

<име>fs.default.name</име>

<стойност>hdfs://master:54310</стойност>

</имот>

• Редактирайте конф / mapred-site.xml файл, за да имат следните вписвания –

<имот>

<име>mapred.job.tracker</име>

<стойност>hdfs://master:54311</стойност>

</имот>

• Редактирайте конф / hdfs-site.xml файл, за да имат следните вписвания –

<имот>

<име>dfs.replication</име>

<стойност>2</стойност>

</имот>

• Редактирайте конф / mapred-site.xml файл, за да имат следните вписвания –

<имот>

<име>mapred.local.dir</име>

<стойност>${Hadoop-TMP}/mapred / местно</стойност>

</имот>

<имот>

<име>mapred.map.tasks</име>

<стойност>50</стойност>

</имот>

<имот>

<име>mapred.reduce.tasks</име>

<стойност>5</стойност>

</имот>

Сега започнете капитана, като използвате следната команда.

[Code] бин / start-dfs.sh [/Code]

След като започна, проверка на състоянието на капитана, като използвате JPS команда. Трябва да се получи следния изход -

[Code]

14799 NameNode

15314 JPS
16977 secondaryNameNode

[/Code]

От роб на изхода трябва да бъде, както е показано по-долу.

[Code]

15183 DataNode
15616 JPS

[/Code]

Сега започнете демоните MapReduce чрез използване на следната команда.

[Code]

$ бин / start-mapred.sh

[/Code]

След като започна да проверите състоянието на капитана, като използвате JPS команда. Трябва да се получи следния изход -

[Code]

16017 JPS

14799 NameNode

15596 JobTracker

14977 SecondaryNameNode

[/Code]

И на робите на изхода трябва да бъде, както е показано по-долу.

[Code]

15183 DataNode

15897 TaskTracker
16284 JPS

[/Code]

Summary: В дискусията по-горе ние сме покрити различни режима на Hadoop за монтаж и техните технически подробности. Но ние трябва да се внимава при избора на режим на инсталация. Различни режими имат своя собствена цел. Така че начинаещите трябва да започнат с монтаж на един режим и след това да продължат с други възможности.
Нека обобщим нашата дискусия със следните куршуми

• Apache Hadoop може да бъде инсталиран в три различни режима –
  • Единична възел
  • Псевдо разпределени възел
  • Разпределени възел
• Единичен режим е най-простият начин да се инсталира и да започнете.
• Ако имаме нужда от клъстери, но има само една налична възел, След това ние трябва да отиде за Псевдо разпределени режим
• За да инсталирате разпределени режим трябва да са в режим на псевдо разпределени инсталирана първата.