Spark on Yarn+Hbase环境搭建指南（二）Hadoop安装

一、准备

首先在Master进行操作。

解压Hadoop： tar -xzvf hadoop-2.6.0.tar.gz 

配置之前，先在本地文件系统创建以下文件夹：~/hadoop/tmp、~/dfs/data、~/dfs/name。

主要涉及的配置文件有7个：都在/hadoop/etc/hadoop文件夹下：

hadoop-env.sh
yarn-env.sh
slaves
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

二、配置

1）配置hadoop-env.sh，修改JAVA_HOME

exportJAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64/

2）配置yarn-env.sh，修改JAVA_HOME

 exportJAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64/

3）修改slaves文件，增加slave节点

配置如下：

Datanode1

Datanode2

4）修改core-site.xml，增加Hadoop核心配置

配置如下（hdfs文件端口是9000）

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/seraph/source/hadoop-2.6.0/tmp</value>

<description>A base for other temporary directories.</description>

</property>

</configuration>

5）修改hdfs-site.xml，增加HDFS配置信息，（namenode, datanode端口和目录位置）

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/seraph/source/hadoop-2.6.0/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/seraph/source/hadoop-2.6.0/data</value>

</property>

</configuration>

6）修改mapred-site.xml，增加mapreduce配置（使用yarn框架，jobhistory使用地址以及web地址）

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

7）修改yarn-site.xml，增加yarn功能

<configuration>

<!-- Site specific YARN configuration properties-->

<property>

<name>yarn.resourcemanager.address</name>

<value>Master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>Master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>Master:8035</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>Master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>Master:8088</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

3、同步到从机

将以上配置文件同步至从机，可使用scp命令，如下：

$scp ~/source/hadoop2.6 seraph@datanode1:~/source

4、启动

1）格式化

格式化每台机器：

./bin/hdfsnamenode -format

2）启动

启动DFS

 ./sbin/start-dfs.sh 

启动YARN

./sbin/start-yarn.sh 

5、查看集群状态

命令行查看：

./bin/hdfsdfsadmin -report
查看HDFS: http://Master:50070

查看集群：http://Master:8088/

注：欢迎转载，转载请注明出处