TechAlpine – All About Technology

我们将描述Hadoop的安装在单节点和多节点. The Hadoop environment setup and configuration will be described in details. 首先，你需要下载以下软件 (转).

• Java JDK转的
• Apache Hadoop的 0.20.204.0 RPM

一) 单节点系统Hadoop的安装

1) 在Red Hat或CentOS安装JDK 5+ 系统.

$ ./的jdk-6u26-linux的64-rpm.bin.sh

Java的安装和设置JAVA_HOME到/ usr / java / default文件

2) 安装Apache的Hadoop 0.20.204.

$ 的rpm-i的hadoop-0.20.204.0-1.i386.rpm的

3) 安装Apache Hadoop的配置和启动Hadoop进程.

$ /usr / sbin目录/ Hadoop的安装单node.sh的

安装向导将引导您完成设置Hadoop的一个问题清单. Hadoop的运行后对所有问题都回答'Y'.

HDFS为自己创建一个用户帐户.

$ /usr / sbin目录/的hadoop-CREATE-user.sh-U的$ USER

乙) 多节点Hadoop的安装

1) 同时安装了JDK和Hadoop 0.20.204.0 在所有节点上的RPM

2) 生成的hadoop配置的所有节点上:

$ /usr / sbin目录/ Hadoop的安装，conf.sh \

  --namenode-url=hdfs://${NameNode的}:9000/ \

  --jobtracker-url=${JobTracker的}:9001 \

  --conf-dir=/etc/hadoop \

  --hdfs-dir=/var/lib/hadoop/hdfs \

  --namenode-dir=/var/lib/hadoop/hdfs/namenode \

  --mapred-dir=/var/lib/hadoop/mapred \

  --datanode-dir=/var/lib/hadoop/hdfs/data \

  --log-dir=/var/log/hadoop \

  --auto

哪里 ${NameNode的} 和 ${JobTracker的} 应更换主机名NameNode和jobtracker.

3) 格式的NameNode和设置默认HDFS布局.

$ /usr / sbin目录/ Hadoop的安装，hdfs.sh

4) 启动所有的数据节点.

$ /etc / init.d中/ Hadoop的Datanode的开始

5) 开始工作跟踪节点.

$ /etc / init.d中/ Hadoop的jobtracker启动

6) 开始任务跟踪节点.

$ /etc / init.d中/ Hadoop的tasktracker启动

7) HDFS为自己创建一个用户帐户.

$ /usr / sbin目录/的hadoop-CREATE-user.sh-U的$ USER

Ç) 为Hadoop的安装环境

$ VI〜/。bash_profile文件

在插入模式下设定的路径JAVA_HOME

出口JAVA_HOME

保存文件，点击 ESC:WQ

运行的。bash_profile

$ 源〜/。bash_profile文件

在Hadoop的环境文件中设置JAVA_HOME路径

$ /ETC /在Hadoop / Hadoop的env.sh

ð) Hadoop的配置

使用下面的:

conf /中核心的site.xml:

conf /中HDFS的site.xml:

conf /中mapred-site.xml的:

它) Hadoop的命令

$ Hadoop的
$ Hadoop的NameNode的格式 (格式化名称节点, 如果请求
回答按'Y')
$ Hadoop的NameNode的 (启动NameNode的)
$ 发现 / -名称开始dfs.sh (找到目录中的文件)
$ CD usr / sbin目录 (直接转到相应的目录)
$ 启动dfs.sh
$ 启动mapred.sh

$ Hadoop的FS-LS / (显示HDFS的根文件夹)
$ hadooop FS放input/file01 / input/file01 (复制本地input/file01
HDFS根/ input/file01的)

Share on Facebook

Tweet

Follow us

Save