Մենք նկարագրել Hadoop Ստեղծեք Մեկ հանգույցի ու բազմաշերտ հանգույց. The Hadoop environment setup and configuration will be described in details. Նախ անհրաժեշտ է բեռնել հետեւյալ ծրագիրը (RPM).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
Ա) Single հանգույց համակարգը Hadoop setup
1) Տեղադրեք JDK է Red Hat կամ CentOS 5+ համակարգ.
$ ./jdk-Linux-x64-6u26-rpm.bin.sh
Java տեղադրվել եւ սահմանել է JAVA_HOME / usr / Java / default
2) Տեղադրեք Apache Hadoop 0.20.204.
$ RPM-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop կոնֆիգուրացիա եւ սկսել Hadoop գործընթացները.
$ /usr / sbin / hadoop-setup-Single-node.sh
Տեղակայման մոգ կուղեկցի ձեզ միջոցով Հարցերի ցուցակ է setup Hadoop. Hadoop պետք է վազել հետո պատասխանելով 'Y' to all questions.
Ստեղծել օգտվողին հաշիվը HDFS ինքներդ.
$ /usr / sbin / hadoop ստեղծել - user.sh-U $ USER
B) Multi-գործառնական հանգույցներն Hadoop setup
1) Տեղադրեք թե JDK եւ Hadoop 0.20.204.0 RPMs բոլոր հանգույցների
2) Ստեղծեք hadoop կոնֆիգուրացիան բոլոր հանգույցների:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
Որտեղ ${namenode} իսկ ${jobtracker} պետք է փոխարինել սարքավորում եւ namenode եւ jobtracker.
3) Ֆորմատ namenode եւ setup Default HDFS ստեղնաշար.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) Սկիզբ բոլոր տվյալների հանգույցների.
$ /այլն / init.d / hadoop-datanode Սկսել
5) Սկիզբ աշխատանքի tracker հանգույց.
$ /այլն / init.d / hadoop-jobtracker Սկսել
6) Սկիզբ աշխատանքային tracker հանգույցների.
$ /այլն / init.d / Hadoop-խնդիրը բուքսիր Starter
7) Ստեղծել օգտվողին հաշիվը HDFS ինքներդ.
$ /usr / sbin / hadoop ստեղծել - user.sh-U $ USER
C) Setup միջավայր Hadoop
$ VI ~ /. bash_profile
Ի Տեղադրեք եղանակի համար նախատեսված ճանապարհը JAVA_HOME
Արտահանման JAVA_HOME
Պահպանել ֆայլը, սեղմելով ESC:WQ
Run The ... bash_profile
$ Աղբյուրը ~ /. bash_profile
Սահմանել JAVA_HOME ուղին Hadoop Բնապահպանական ֆայլը
$ /այլն / Hadoop / Hadoop-env.sh
D) Եղանակով Hadoop
Օգտագործեք հետեւյալ:
Conf / միջուկը, site.xml:
| <տեսիլ> |
| <սեփականություն> |
| <անվանում>fs.default.name</անվանում> |
| <արժեք>hdfs://localhost:9000</արժեք> |
| </սեփականություն> |
| </տեսիլ> |
Conf / hdfs-site.xml:
| <տեսիլ> |
| <սեփականություն> |
| <անվանում>dfs.replication</անվանում> |
| <արժեք>1</արժեք> |
| </սեփականություն> |
| </տեսիլ> |
Conf / mapred-site.xml:
| <տեսիլ> |
| <սեփականություն> |
| <անվանում>mapred.job.tracker</անվանում> |
| <արժեք>localhost:9001</արժեք> |
| </սեփականություն> |
| </տեսիլ> |
Այն) Hadoop Հրամաններ
$ hadoop
$ hadoop namenode-format (Ձեւաչափով namenode, Եթե խնդրեք, որպեսզի
պատասխանել է մամուլի 'Y')
$ hadoop NameNode (Սկսելու namenode)
$ գտնել / -անունը Start-dfs.sh (գտնել ֆայլը տեղեկատու)
$ CD usr / sbin (Գնալ համապատասխան directory ուղղակիորեն)
$ Սկսնակ dfs.sh
$ սկիզբ - mapred.sh
$ hadoop FS-ls / (Ցույց է տալիս արմատային թղթապանակը HDFS)
$ hadooop FS-ի input/file01 / input/file01 (Պատճենեք տեղական input/file01 է
HDFS արմատ / input/file01)
