我々は、単一ノード、マルチノードでHadoopのセットアップについて説明しています. The Hadoop environment setup and configuration will be described in details. 最初は、以下のソフトウェアをダウンロードする必要があります (回転).
- Java JDKのRPM
- Apache Hadoopの 0.20.204.0 RPM
A) シングルノードシステムHadoopのセットアップ
1) Red HatやCentOSにJDKをインストールする 5+ システム.
$ ./JDK-6u26-linuxの-X64-rpm.bin.sh
Javaが/ usr / java / defaultにインストールされ、JAVA_HOMEを設定されている
2) ApacheのHadoopをインストールする 0.20.204.
$ します。rpm-iのHadoop-0.20.204.0-1.i386.rpmを
3) セットアップApache Hadoopの構成および開始Hadoopのプロセス.
$ /usr / sbinに/はhadoop-SETUP-シングルnode.sh
セットアップウィザードがセットアップHadoopへの質問の一覧をご案内します. Hadoopは、すべての質問に "Y"を答えた後、実行されるべきである.
あなた自身のために、HDFS上のユーザー·アカウントを作成する.
$ /usr / sbinに/はhadoop-CREATE-user.shは、-u $ USER
B) マルチノードHadoopのセットアップ
1) JDKとHadoopの両方をインストールする 0.20.204.0 すべてのノード上のRPM
2) すべてのノード上で、Hadoopの構成を生成:
$ /usr / sbinに/はhadoop-SETUP-conf.sh \
--namenode-url=hdfs://${名前ノード}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
どこ ${名前ノード} と ${jobtracker} 名前ノードとjobtrackerのホスト名に置き換えてください.
3) 形式名前ノードとセットアップデフォルトHDFSのレイアウト.
$ /usr / sbinに/はhadoop-SETUP-hdfs.sh
4) すべてのデータノードを起動します。.
$ /etc / init.dの/はhadoop-データ管理部スタート
5) ジョブトラッカーのノードを起動します.
$ /etc / init.dの/はhadoop-jobtracker開始
6) タスクトラッカーノードを開始.
$ /etc / init.dの/ Hadoopのタスクトラッカースターター
7) あなた自身のために、HDFS上のユーザー·アカウントを作成する.
$ /usr / sbinに/はhadoop-CREATE-user.shは、-u $ USER
C言語) Hadoopのセットアップ環境
$ viの〜/。bash_profileに
JAVA_HOMEのINSERTモード·セット·パス内の
エクスポートJAVA_HOME
クリックして、ファイルを保存します ESC:WQ
。bash_profileファイルを実行
$ ソース〜/。bash_profileに
Hadoopの環境ファイルにJAVA_HOMEのパスを設定
$ /ETC / Hadoopの/ Hadoopの-env.sh
D) Hadoopの設定
以下を使用します:
confに/コア-site.xmlに:
| <設定> |
| <財産> |
| <名前>fs.default.name</名前> |
| <値>HDFS://ローカルホスト:9000</値> |
| </財産> |
| </設定> |
confに/ HDFS-site.xmlに:
| <設定> |
| <財産> |
| <名前>dfs.replication</名前> |
| <値>1</値> |
| </財産> |
| </設定> |
confに/ mapred-site.xmlに:
| <設定> |
| <財産> |
| <名前>mapred.job.tracker</名前> |
| <値>ローカルホスト:9001</値> |
| </財産> |
| </設定> |
それ) Hadoopのコマンド
$ Hadoopの
$ Hadoopの名前ノード形式 (名前ノードの書式を設定する, に依頼する場合
プレス 'Y'と答え)
$ Hadoopの名前ノード (名前ノードを起動します。)
$ 見つける / -名前開始dfs.sh (ディレクトリ内のファイルを見つける)
$ CD usr / sbinに (直接それぞれのディレクトリに移動します)
$ 開始dfs.sh
$ 開始mapred.sh
$ HadoopのFS-LS / (HDFSのルートフォルダが表示されます)
$ hadooop FS-置くinput/file01 / input/file01 (ローカルinput/file01にコピー
HDFSのルート/ input/file01)
