TechAlpine – All About Technology

우리는 단일 노드 및 다중 노드에서 Hadoop 설정을 설명합니다. The Hadoop environment setup and configuration will be described in details. 먼저 다음과 같은 소프트웨어를 다운로드 할 필요가 (RPM).

• 자바 JDK RPM
• 아파치 Hadoop 0.20.204.0 RPM

A) 단일 노드 시스템 Hadoop 설치

1) 레드햇 또는 CentOS에 JDK를 설치 5+ 체계.

$ ./JDK-6u26-리눅스-x64-rpm.bin.sh

자바는 설치는 / usr / 자바 / 기본값으로 JAVA_HOME을 설정

2) 아파치 Hadoop을 설치 0.20.204.

$ RPM-i를 hadoop-0.20.204.0-1.i386.rpm

3) 설치 아파치 Hadoop 구성 및 시작 Hadoop 프로세스.

$ /usr을 / sbin / hadoop-설정 - 단일 node.sh

설치 마법사가 설치 Hadoop에 질문의 목록을 통해 여러분을 안내 할 것입니다. Hadoop은 모든 질문에 'Y'를 응답 한 후 실행해야합니다.

자신을 위해 HDFS에 사용자 계정을 만들.

$ /usr을 / sbin / hadoop-CREATE-user.sh-U $ USER

B) 다중 노드 Hadoop 설치

1) JDK 및 Hadoop 설치 모두 0.20.204.0 모든 노드에 RPM을

2) 모든 노드에 hadoop 구성을 생성:

$ /usr을 / sbin / hadoop-설정 - conf.sh \

  --namenode-url=hdfs://${namenode}:9000/ \

  --jobtracker-url=${jobtracker}:9001 \

  --conf-dir=/etc/hadoop \

  --hdfs-dir=/var/lib/hadoop/hdfs \

  --namenode-dir=/var/lib/hadoop/hdfs/namenode \

  --mapred-dir=/var/lib/hadoop/mapred \

  --datanode-dir=/var/lib/hadoop/hdfs/data \

  --log-dir=/var/log/hadoop \

  --auto

어디에서 ${namenode} 과 ${jobtracker} namenode 및 jobtracker의 호스트 이름으로 대체해야합니다.

3) 형식 namenode 및 설정 기본 HDFS 레이아웃.

$ /usr을 / sbin / hadoop-설정 - hdfs.sh

4) 모든 데이터 노드를 시작합니다.

$ /등 / init.d / hadoop-datanode 시작

5) 작업 추적기 노드를 시작합니다.

$ /등 / init.d / hadoop-jobtracker 시작

6) 작업 추적기 노드를 시작합니다.

$ /등 / init.d / Hadoop - 작업 추적기 시작

7) 자신을 위해 HDFS에 사용자 계정을 만들.

$ /usr을 / sbin / hadoop-CREATE-user.sh-U $ USER

C) Hadoop의 설치 환경

$ 바이올렛 ~ /. bash_profile

JAVA_HOME에 대한 INSERT 모드 설정 경로에

수출 JAVA_HOME

클릭하여 파일을 저장합니다 ESC:wq

의. bash_profile을 실행

$ 소스 ~ /. bash_profile

Hadoop 환경 파일에 JAVA_HOME 경로를 설정

$ /등 / Hadoop / Hadoop-env.sh

디) Hadoop에 대한 구성

다음을 사용하여:

conf의 / 코어 site.xml:

conf의 / hdfs-site.xml:

conf의 / mapred-site.xml:

그것) Hadoop 명령

$ hadoop
$ hadoop namenode 포맷 (namenode를 포맷, 에 물어 보면
프레스 'Y'를 답)
$ hadoop NameNode (namenode 시작)
$ 발견 / -시작 dfs.sh 이름을 (디렉토리에있는 파일을 찾을 수)
$ 에서 cd​​ usr을 / sbin (각각의 디렉토리로 이동합니다 직접)
$ 시작 - dfs.sh
$ 시작 - mapred.sh

$ hadoop FS-혹시 / (HDFS 루트 폴더를 표시합니다)
$ hadooop input/file01 / input/file01 FS는 - 넣어 (지역 input/file01에 복사
HDFS 루트 / input/file01)

Share on Facebook

Tweet

Follow us

Save