נתאר התקנת Hadoop בצומת אחת וצומת רבה. The Hadoop environment setup and configuration will be described in details. ראשית, עליך להוריד את התוכנה הבאה (סל"ד).
- Java JDK RPM
- Apache Hadoop 0.20.204.0 סל 'ד
A) אחת צומת מערכת Hadoop התקנה
1) התקנת JDK על רד האט או CentOS 5+ מערכת.
$ ./JDK-6u26-linux-x64-rpm.bin.sh
Java מותקן ומוגדר JAVA_HOME ל/ usr / Java / ברירת מחדל
2) התקנת Apache Hadoop 0.20.204.
$ rpm-i Hadoop-0.20.204.0-1.i386.rpm
3) התקנת Apache Hadoop תהליכי ההתחלה Hadoop ותצורה.
$ /usr / sbin /-יחיד node.sh Hadoop התקנה
אשף ההתקנה ינחה אותך ברשימה של שאלות להתקנת Hadoop. Hadoop צריך לרוץ אחרי שענה "Y" לכל השאלות.
יצירת חשבון משתמש בHDFS בעצמך.
$ /usr / sbin / Hadoop-create-user.sh u-USER $
B) Multi-צומת התקנת Hadoop
1) גם להתקין JDK וHadoop 0.20.204.0 RPMs על כל צומת
2) צור תצורת Hadoop על כל צומת:
$ /usr / sbin / Hadoop-התקנה-conf.sh \
--namenode-url = hdfs://${namenode}:9000/ \
--url = jobtracker ${jobtracker}:9001 \
--conf-dir = / etc / Hadoop \
--hdfs-dir = / var / lib / Hadoop / hdfs \
--namenode-dir = / var / lib / Hadoop / hdfs / namenode \
--mapred-dir = / var / lib / Hadoop / mapred \
--datanode-dir = / var / lib / Hadoop / hdfs / נתונים \
--יומן dir = / var / log / Hadoop \
--אוטו
איפה ${namenode} ו - ${jobtracker} צריך להיות מוחלף עם מארח של namenode וjobtracker.
3) פורמט ברירת מחדל של ההתקנה וnamenode HDFS פריסה.
$ /usr / sbin / Hadoop-התקנה-hdfs.sh
4) התחל כל צומת הנתונים.
$ /תחילת etc / init.d / Hadoop-datanode
5) התחל צומת גשש עבודה.
$ /תחילת etc / init.d / Hadoop-jobtracker
6) התחל צומת גשש משימה.
$ /etc / init.d / Hadoop-משימת גשש המתנע
7) יצירת חשבון משתמש בHDFS בעצמך.
$ /usr / sbin / Hadoop-create-user.sh u-USER $
ג) סביבת התקנה לHadoop
$ vi ~ /. bash_profile
בדרך לסט במצב INSERT JAVA_HOME
היצוא JAVA_HOME
שמור את הקובץ על ידי לחיצה esc:wq
הפעלה. Bash_profile
$ מקור ~ /. bash_profile
הגדרת נתיב JAVA_HOME בקובץ סביבת Hadoop
$ /וכו / Hadoop / Hadoop-env.sh
D) תצורה עבור Hadoop
השתמש הבא:
conf / הליבה site.xml:
| <תצורה> |
| <רכוש> |
| <שם>fs.default.name</שם> |
| <ערך>HDFS://localhost:9000</ערך> |
| </רכוש> |
| </תצורה> |
conf / HDFS-site.xml:
| <תצורה> |
| <רכוש> |
| <שם>dfs.replication</שם> |
| <ערך>1</ערך> |
| </רכוש> |
| </תצורה> |
conf / mapred-site.xml:
| <תצורה> |
| <רכוש> |
| <שם>mapred.job.tracker</שם> |
| <ערך>localhost:9001</ערך> |
| </רכוש> |
| </תצורה> |
זה) פקודות Hadoop
$ Hadoop
$ Hadoop namenode בפורמט (עצב namenode, אם תבקש
תענה קש 'Y')
$ Hadoop namenode (התחל namenode)
$ למצוא / -שם סטארט dfs.sh (למצוא את הקובץ בספרייה)
$ usr cd / sbin (עבור לספרייה מתאימה באופן ישיר)
$ תתחיל-dfs.sh
$ סטארט mapred.sh
$ Hadoop FS-ls / (מציג את תיקיית שורש HDFS)
$ hadooop FS-לשים input/file01 / input/file01 (העתק input/file01 המקומי
HDFS שורש / input/file01)
