ჩვენ აღწერს Hadoop setup on single კვანძის და მრავალ კვანძში. The Hadoop environment setup and configuration will be described in details. პირველი თქვენ უნდა ჩამოტვირთოთ პროგრამული უზრუნველყოფის შემდეგ (rpm).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A) უცოლო კვანძის სისტემის Hadoop setup
1) დააინსტალირეთ JDK on Red Hat ან CentOS 5+ სისტემაში.
$ ./jdk-6u26-Linux-x64-rpm.bin.sh
Java არის დამონტაჟებული და მითითებული JAVA_HOME to / usr / java / default
2) დააინსტალირეთ Apache Hadoop 0.20.204.
$ rpm-i hadoop-0.20.204.0-1.i386.rpm
3) Setup Apache Hadoop კონფიგურაცია და დაწყება Hadoop პროცესები.
$ /usr / sbin / hadoop-setup-single-node.sh
ჩადგმის ოსტატი დაგეხმარებათ იმ კითხვების ნუსხას setup Hadoop. Hadoop უნდა გაშვებული პასუხის გაცემის შემდეგ "Y" ყველა კითხვას.
შექმნა მომხმარებლის ანგარიშზე HDFS თქვენთვის.
$ /usr / sbin / hadoop-Create-user.sh-U $ USER
B) Multi-კვანძების Hadoop setup
1) დააინსტალირეთ ორივე JDK და Hadoop 0.20.204.0 RPMs ყველა კვანძების
2) გენერაცია hadoop კონფიგურაციის ყველა კვანძების:
$ /usr / sbin / hadoop-setup-conf.sh \
--namenode-url = HDFS://${namenode}:9000/ \
--jobtracker url = ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--HDFS-dir = / var / lib / Hadoop / HDFS \
--namenode-dir = / var / lib / Hadoop / HDFS / namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--datanode-dir = / var / lib / Hadoop / HDFS / მონაცემები \
--შესვლა რეჟ = / var / log / Hadoop \
--განცხადება
სად ${namenode} და ${jobtracker} უნდა შეიცვალოს hostname of namenode და jobtracker.
3) ფორმატი namenode და setup რა HDFS განლაგება.
$ /usr / sbin / hadoop-setup-hdfs.sh
4) დაწყება ყველა მონაცემი კვანძების.
$ /etc / init.d / hadoop-datanode დაწყება
5) დაწყება სამუშაოს tracker კვანძში.
$ /etc / init.d / hadoop-jobtracker დაწყება
6) დაწყება ამოცანა tracker კვანძების.
$ /etc / init.d / Hadoop-ამოცანა tracker შემქმნელის
7) შექმნა მომხმარებლის ანგარიშზე HDFS თქვენთვის.
$ /usr / sbin / hadoop-Create-user.sh-U $ USER
C) Setup გარემო Hadoop
$ VI ~ /. bash_profile
In INSERT რეჟიმში კომპლექტი გზა JAVA_HOME
ექსპორტი JAVA_HOME
ფაილის შენახვა დაწკაპვით ESC:wq
აწარმოებს. Bash_profile
$ წყარო ~ /. bash_profile
უცნობია JAVA_HOME ბილიკი Hadoop გარემოს ფაილი
$ /etc / Hadoop / Hadoop-env.sh
D) კონფიგურაცია Hadoop
გამოიყენოს შემდეგი:
conf / core-site.xml:
| <კონფიგურაციის> |
| <ქონების> |
| <სახელი>fs.default.name</სახელი> |
| <ღირებულება>hdfs://Localhost:9000</ღირებულება> |
| </ქონების> |
| </კონფიგურაციის> |
conf / hdfs-site.xml:
| <კონფიგურაციის> |
| <ქონების> |
| <სახელი>dfs.replication</სახელი> |
| <ღირებულება>1</ღირებულება> |
| </ქონების> |
| </კონფიგურაციის> |
conf / mapred-site.xml:
| <კონფიგურაციის> |
| <ქონების> |
| <სახელი>mapred.job.tracker</სახელი> |
| <ღირებულება>Localhost:9001</ღირებულება> |
| </ქონების> |
| </კონფიგურაციის> |
იგი) Hadoop ბრძანებები
$ hadoop
$ hadoop namenode-ფორმატში (ფორმატირება namenode, თუ დაელოდონ
უპასუხოს პრესის 'Y')
$ hadoop NameNode (დაწყება namenode)
$ იპოვოს / -ასახელებს დაწყება-dfs.sh (სასურველი ფაილი დირექტორიაში)
$ CD usr / sbin (გადავიდეთ შესაბამის დირექტორიაში პირდაპირ)
$ დამწყებ dfs.sh
$ დაწყება-mapred.sh
$ hadoop FS-ls / (გადაცემები HDFS root ფოლდერში)
$ hadooop FS-დააყენა input/file01 / input/file01 (დააკოპირეთ ადგილობრივი input/file01 to
HDFS root / input/file01)
