@Luis Alvarado의 답변 에서 파생 된 Ubuntu 14.04 및 Hadoop 2.5.1의 내 버전은 다음과 같습니다.
간단히
- 자바 설치
- 하둡을 위한 임원 사용자 준비
hduser
hduser지금부터 전환hduser패스 프레이즈없이 SSH를 통해 원격으로 허용- IPv6 비활성화
- Hadoop 패키지 다운로드 및 구성
- 시스템 경로 $ HADOOP_HOME 및 $ JAVA_HOME을 준비하십시오.
- 구성 하둡 서비스
- 하둡 서비스 시작
끝난. 행운을 빕니다!
세부 단계
자바 설치
다운로드 및 설치
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update && sudo apt-get upgrade
$ sudo apt-get install oracle-java7-installer
Java7이 설치되어 있는지 확인하십시오
$ which java
$ ls -l /usr/bin/java
$ ls -l /etc/alternatives/java
우리는 java지적해야/usr/lib/jvm/java-7-oracle/jre/bin/java
하둡을 위한 임원 사용자 준비hduser
hduser그룹에서 사용자 생성hadoop
$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hduser
sudo 권한을 부여 hduser하십시오
sudo 편집
$ sudo visudo
이 줄 끝에 추가
hduser ALL=(ALL:ALL) ALL
hduser지금부터 전환
$ su - hduser
hduser패스 프레이즈없이 SSH를 통해 원격으로 허용
openssh 설치
$ sudo apt-get install openssh-server
SSH 연결을위한 RSA 공개 / 개인 키 생성 암호문이 비어 있습니다parameter -P ""
$ ssh-keygen -t rsa -P ""
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
hduser비밀번호없이 로컬로 원격으로 ssh 할 수 있는지 확인하십시오
$ ssh localhost
IPv6 비활성화
구성 파일 편집
$ sudo nano /etc/sysctl.conf
끝까지 복사
#disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
재부팅 또는 호출로 IPv6이 꺼져 있는지 확인
$ sudo sysctl -p
그런 다음 전화
$ cat /proc/sys/net/ipv6/conf/all/disable_ipv6
OK라는 의미의 1이라고 말해야합니다 ^^
Hadoop 패키지 다운로드 및 구성
Apache Hadoop 사이트 에서 Hadoop 2.5.1 패키지 다운로드
이 패키지의 직접 URL은이 링크입니다
http://www.eu.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz
hduser홈 폴더로 다운로드하여 압축을 풀고 이름을 바꿉니다.hadoop
$ wget http://www.eu.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz
$ tar -xvzf hadoop-2.5.1.tar.gz
$ mv hadoop-2.5.1 hadoop
우리가 하둡을 hduser집에 저장했는지 확인하십시오
$ ls /home/hduser/hadoop
시스템 경로 $ HADOOP_HOME 및 $ JAVA_HOME을 준비하십시오.
hduser의 .bashrc 파일 편집
$ nano .bashrc
에 대한 최종 값을 넣어 $HADOOP_HOME및$JAVA_HOME
# Set Hadoop-related environment variables
export HADOOP_HOME=/home/hduser/hadoop
# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
binary시스템에 Hadoop 폴더 추가$PATH
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
새 터미널을 열고로 로그인 hduser하여 사용 가능한 명령이있는 $ HADOOP_HOME이 있는지 확인하십시오.
$ echo $HADOOP_HOME
$ which start-all.sh
$ which start-dfs.sh
$ which start-yarn.sh
우리는 그 이름들의 전체 경로를보아야합니다.
구성 하둡 서비스
Hadoop의 각 구성 요소는 XML 파일을 사용하여 구성됩니다.
공통 속성은 core-site.xml에 있습니다.
hdfs-site.xml에 있는 HDFS 속성
MapReduce 속성은 mapred-site.xml에 있습니다.
이 파일들은 모두 $ HADOOP_HOME / etc / hadoop 폴더에 있습니다.
hadoop-env.sh라인을 편집하여 JAVA_HOME을 다시 정의하십시오.
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
core-site.xml 에서 하둡 temp folder및 file system이름 정의
<configuration>
...
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
...
</configuration>
우리는 이것을 다음 temp folder과 같이 구성 해야 합니다./home/hduser/tmp
$ cd /home/hduser
$ mkdir tmp
$ chown hduser:hadoop tmp
$ chmod 755 tmp
hdfs-site.xml 에서 file system의 정의block replication
<configuration>
...
<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
...
</configuration>
mapred-site.xmlmap-reduce job 에서 정의
<configuration>
...
<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
...
</configuration>
체재 name node
$ hdfs namenode -format
하둡 서비스 시작
요구
$ start-dfs.sh && start-yarn.sh
이 두 명령은 시스템 $ PATH에 추가 한 $ HADOOP_HOME / sbin 에 있습니다.
하둡 서비스가 올바르게 시작되었는지 확인
$ jps
우리는보아야한다
