Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建

转载地址：http://blog.csdn.net/u013327467/article/details/45675705

                                                             前言

本博客目的在于跟大家分享大数据平台搭建过程，是笔者半年的结晶。在大数据搭建过程中,希望能给大家提过一些帮助，这也是本博客的价值所在。 
博客内容分为将五个部分，具体如下：

---

第一部分 集群平台搭建 
第二部分 SSH登录和JDK安装 
第三部分 Hadoop-2.6.0+zookeeper-3.4.6集群搭建 
第四部分 Spark集群搭建 
第五部分 Hive集群搭建 
第六部分 Hbase 集群搭建

---

以下是本集群所需要的软件，大家可按需要进行下载： 
Ubuntu14.04 
VMware Workstation 12 Pro for Linux 
Hadoop-2.6.0 
jdk-7u80-linux-x64.gz 
Zookeeper-3.4.6 
Spark-1.5.0 
Hbase-1.1.2 
Hive-1.2.0

---

                                              第一部分 Ubuntu物理机和虚拟机搭建

---

集群框架，采用一台物理机和两台虚拟机。在PC机上用easyBCD方式安装Win和Ubuntu双系统。 
一.安装easyBCD 
1.下载 
网址：http://172.28.0.26/cache/4/02/crsky.com/f5eedf182f9ae67bdd575d0feaf80406/EasyBCD-v2.2.zip 
2.设置引导 
安装好easyBCD，打开并点击添加新条目–>安装–>NeoGrub–>配置，如图所示： 
 
点击配置后，会跳出menu.lst文件，删除文件里面的所有内容，并复制以下内容到文件内：

title Install Ubunturoot (hd0,1)kernel (hd0,1)/vmlinuz.efi boot=casper iso-scan/filename=/ubuntu-14.04-desktop-amd64.iso ro quiet splash locale=zh_CN.UTF-8initrd (hd0,1)/initrd.lz
1
2
3
4
5
6
7

注：如果Win操作系统有系统保留分区，则root处为1，即root(hd0,1)；如果没有则为0,即root(hd0,0)。

二.安装Ubuntu

将buntu-14.04-desktop-amd64.iso文件拷贝到C盘。用解压软件打开，在casper文件下有两个文件：initrd.lz、vmlinuz.efi，将它们复制到C盘。

接下来重启PC,在引导界面选择NeoGrub，进入安装界面后，ctril+alt+t打开终端命令，输入以下命令需要使用的命令取消光盘驱动器挂载：

sudo umount -l /isodevice 
1

三.Ubuntu相关配置

1.打开软件中心更改软件更新源，一般选择国内的网易。

2.列举本地更新

sudo apt-get update
1

3.安装可用更新

sudo apt-get upgrade
1

4.修改root用户登录

sudo gedit /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf
1

添加

[SeatDefaults]greeter-session=unity-greeteruser-session=ubuntugreeter-show-manual-login=trueallow-guest=false  
1
2
3
4
5

5.设置 root用户密码，,并输入root用户的密码

sudo passwd root  
1

6.卸载防火墙

ufw disable   //关闭sudo apt-get remove  ufw   //卸载sudo ufw status   //查看
1
2
3

7.安装ssh 
安装ssh-server

sudo apt-get install openssh-server
1

安装ssh-client

sudo apt-get install openssh-client
1

验证：ps -e | grep ssh450 ??00:00:00 sshd  //如果出现这个,则安装成功重启ssh：/etc/init.d/ssh restart
1
2
3
4
5
6
7

四.安装Ubuntu虚拟机

1.下载VMware Workstation 12 Pro for Linux 
网址：http://www.vmware.com/cn/products/workstation/workstation-evaluation 
密钥：

5A02H-AU243-TZJ49-GTC7K-3C61N
1

2.安装VMware 
使用以下命令安装VMware，”/home/huai/桌面/“为我在Ubuntu下文件路径名，大家可跟据自己的做更改。

sudo chmod +x /home/huai/桌面/VMware-Workstation-Full-12.0.0-2985596.x86_64.bundlesudo /home/huai/桌面/VMware-Workstation-Full-12.0.0-2985596.x86_64.bundle
1
2
3

3.安装虚拟机

注：虚拟机用户名要与物理机的用户名保持一致，如笔者的三台集群的用户名都是“huai”。

用VMware安装虚拟机，采用典型方式安装，操作过程很简单，就不在这叙述了，大家可另行百度。对于刚安装好Ubuntu虚拟机，是可以联网的。按照上面Ubuntu物理机的相关配置对虚拟机Ubuntu进行同样操作。

配置好虚拟机,关闭虚拟机和VMware。复制安装的虚拟机文件，构成两台虚拟机。

4.修改主机名

因为笔者搭建此集群是为了学习spark,故将三台集群主机名命为spark01、spark02和spark03。其中，park01为物理机，充当主节点。spark02和spark03为两台虚拟机的主机名。

修改物理机主机名,使用以下命令将主机名改为spark01:

sudo gedit /etc/hostname
1

修改虚拟机主机名：同上,分别修改为spark02和spark03。

五.修改IP

集群IP分别设为

192.168.8.101, 192.168.8.102, 192.168.8.103
1

1.设置虚拟机IP模式

    虚拟机网卡设置为host-only模式(具体操作，请百度)

2.设置spark02的IP

通过界面设置IP

系统设置-->网络-->选项 -->IPv4设置--> method选择为manual--> 点击add按钮--添加IP：192.168.8.102 子网掩码：255.255.255.0 网关：192.168.1.1--> apply
1
2

3.设置spark03的IP

通过同样的方式把spark03的IP设置为：192.168.8.103

4.设置物理机spark01的IP

给物理机设置静态IP有点麻烦，因为在学校用的是内网，根据网上很多方法设置后，都无法再上网了。以下这种方式是网上比较常见的修改方式，但是不好使，只作参考，修改方式如下： 
1）一种令人不愉快的方式

打开：sudo gedit /etc/network/interfaces添加：auto eth0iface eth0 inet static  address 192.168.8.101  netmask 255.255.255.0  gateway 192.168.8.1  
1
2
3
4
5
6
7
8
9

设置DNS域名解析：

打开：sudo gedit /etc/resolv.conf 添加：search nwu.edu.cnnameserver 202.117.96.5 nameserver 202.117.96.10nameserver 127.0.1.1打开：sudo gedit /etc/resolvconf/resolv.conf.d/tail添加：search nwu.edu.cnnameserver 202.117.96.5 nameserver 202.117.96.10nameserver 127.0.1.1重启networking命令：sudo /etc/init.d/networking restartsudo /etc/init.d/resolvconf restart
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

笔者自己找到了两种方式设置一个固定的IP，简单且容易实现，关键在百度上都找不到。一种是采用桥接,第二种是绑定

2）采用桥接

1.点击桌面右上角网络图标栏中的"编辑连接",网络连接中选中"桥接",点击"添加";2.对跳转出来选择连接类型窗口,选择"虚拟--桥接",点击"新建",3.在桥接--桥接连接(c)处,点击"添加",选择"以太网",点击新建,在设备MAC地址(D)处.选择"eth0",并"保存"4.点击IPv4设置,方法处选择为"手动",>点击"添加"设置IP为：192.168.8.101 子网掩码：255.255.255.0 网关：192.168.1.1,"保存"
1
2
3
4

3）采用绑定

采用绑定的方式与桥接方式操作一样，就是在操作2中，选择“虚拟--绑定”，其他操作一样。
1

六.修改主机名和IP的映射关系

整个集群的主机名和IP的映射关系的内容设置是一样的，分别在三台机子上操作以下命令：

sudo  gedit  /etc/hosts添加:192.168.8.101   spark01    192.168.8.102   spark02192.168.8.103   spark03 
1
2
3
4
5
6
7

七.重启

关闭两台虚拟机，并重启Ubuntu物理机
1

---

                                         第二部分  SSH登录和JDK安装

---

一.SSH登录配置

本集群的用户名为”huai”,集群尽量用统一的用户名,用不同的ssh登录时,还要进行一些其他操作，很麻烦。

1.在物理机spark01上,使用以下命令,四个回车，并cd到相关目录，操作如下：

huai@spark01:~$ ssh-keygen -t rsa huai@spark01:~$ cd /home/huai/.sshhuai@spark01:~/.ssh$ lsid_rsa  id_rsa.pub
1
2
3
4

生成两个文件：id_rsa（私钥）、id_rsa.pub（公钥）

2.对两台虚拟机进行同样操作(如上)

3.将虚拟机的id_rsa.pub（公钥）传到spark01,”huai”是我集群的用户名,”huai”应改为你自己设定的用户名。分别在spark02和spark03进行以下操作：

scp id_rsa.pub huai@spark01:/home/huai/.ssh/id_rsa.pub.spark02scp id_rsa.pub huai@spark01:/home/huai/.ssh/id_rsa.pub.spark03
1
2

4.在物理机上，按以下操作：

huai@spark01:~$ cd /home/huai/.sshhuai@spark01:~/.ssh$ lsid_rsa.pub       id_rsa.pub.spark03id_rsa           id_rsa.pub.spark02 
1
2
3
4

将公钥导入到综合authorized_keys文件中，在目录huai@spark01:~/.ssh$下使用导入命令：

cat id_rsa.pub >> authorized_keyscat id_rsa.pub.spark02 >> authorized_keyscat id_rsa.pub.spark03 >> authorized_keys
1
2
3

5.将spark01上的authorized_keys复制到spark02和spark03的/home/huai/.ssh/目录下

scp authorized_keys huai@spark02:/home/huai/.ssh/authorized_keysscp authorized_keys huai@spark03:/home/huai/.ssh/authorized_keys 
1
2

6.ssh常见错误修改 
因为笔者的已经配置好,具体错误就没法再重现了。不过只要按以下操作之后,保证不会再有错误。 
　　 
1）：

sudo gedit /etc/ssh/sshd_config
1

打开文件后，注释”PermitRootLogin without-password”,使用”#”注释 
并在其下面添加: PermitRootLogin yes

2）：

打开: sudo  gedit /etc/ssh/ssh_config 添加：StrictHostKeyChecking noUserKnownHostsFile /dev/null
1
2
3
4
5
6
7

3）： 
如果有Agent admitted failure to sign using the key错误抛出，执行以下命令即可：

ssh-add
1

4）： 
如果ssh登录时,在known_hosts报出警告,后面显示一个数字,使用以下命令将其删除,比如显示数字”8”.

sed -i 8d /home/huai/.ssh/known_hosts
1

7.分别在每台上进行以下ssh登录,使用”exit”退出

ssh spark01ssh spark02ssh spark03
1
2
3

二.安装JDK

1.下载jdk，6和8不做考虑，8不支持，6版本太低，下载地址如下：

http://download.oracle.com/otn-pub/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz

2.安装

创建java文件夹：

sudo mkdir /usr/java
1

解压

sudo tar -zxvf /home/huai/桌面/jdk-7u80-linux-x64.gz -C /usr/java/
1

修改文件权限

sudo chmod -R 777 /usr/java/    
1

3.修改环境变量 
因为笔者集群已经搭建好了,为了让大家不要经常修改环境变量,笔者在此处把所有安装包的环境变量都列出来,供大家参考。

操作：sudo gedit /etc/profile在文件最后添加：export JAVA_HOME=/usr/java/jdk1.7.0_80export JRE_HOME=/usr/java/jdk1.7.0_80/jreexport SCALA_HOME=/spark/scala-2.11.6export SPARK_HOME=/spark/spark-1.5.0export HADOOP_HOME=/spark/hadoop-2.6.0export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"export HIVE_HOME=/spark/hive-1.2.0export IDEA_HOME=/usr/idea/idea-IC-141.178.9export HBASE_HOME=/spark/hbase-1.1.2export ZOOKEEPER_HOME=/spark/zookeeper-3.4.6export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$IDEA_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

刷新

source /etc/profile
1

4.验证 
使用命令java -version，如果出现java version “1.7.0_80”,则安装成功

5.设置jdk默认 
如果Ubuntu上已经安装过openjdk纳闷需要设置默认jdk。若以上验证成功,可以跳过设置默认jdk。依次操作以下命令：

sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_80/bin/java 300  sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.7.0_80/bin/javac 300  sudo update-alternatives --install /usr/bin/jar jar /usr/java/jdk1.7.0_80/bin/jar 300 sudo update-alternatives --install /usr/bin/javah javah /usr/java/jdk1.7.0_80/bin/javah 300   sudo update-alternatives --install /usr/bin/javap javap /usr/java/jdk1.7.0_80/bin/javap 300sudo update-alternatives --config java  
1
2
3
4
5
6

---

        第三部分 Hadoop-2.6.0+zookeeper-3.4.6集群搭建

---

　 
一.集群规划 

文字描述：本集群仅有三台机子：spark01、spark02和spark03。三台都安装hadoop-2.6.0,zookeeper-3.4.6。spark01和spark02共运行了两个namenode，两个datanode运行spark02和spark03上。

二.zooekeeper配置

1.建立spark文件夹

sudo mkdir /spark修改权限：sudo chmod -R 777 /spark
1
2
3

2.解压

sudo tar -zxvf /home/huai/桌面/zookeeper-3.4.6.tar.gz -C /spark/
1

3.修改zoo.cfg文件

cd /spark/zookeeper-3.4.6/conf/mv zoo_sample.cfg zoo.cfg
1
2
3

4.配置zoo.cfg

gedit zoo.cfg修改：dataDir=/spark/zookeeper-3.4.6/tmp添加：dataLogDir=/spark/zookeeper-3.4.6/logs在最后添加：server.1=spark01:2888:3888server.2=spark02:2888:3888server.3=spark03:2888:3888保存退出
1
2
3
4
5
6
7
8
9
10
11
12

5.建立文件夹

mkdir /spark/zookeeper-3.4.6/tmpmkdir /spark/zookeeper-3.4.6/logs
1
2

6.设置myid 
在5）中建立的tmp文件夹下创建一个空文件，并在其中写入”1“。

创建文件：touch myid写入"1":gedit myid
1
2
3
4
5

7.修改环境变量

虽然前面已经把所有的环境变量都设置好了,但这个步骤是环境配置必须的操作，所以在此处重复一遍

打开：sudo  gedit /etc/profile添加：export ZOOKEEPER_HOME=/spark/zookeeper-3.4.6export PATH=:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf刷新：source /etc/profile
1
2
3
4
5
6
7

8.将配置好的zookeeper拷贝到其他节点

scp -r /spark/zookeeper-3.4.6/ huai@spark02:/spark/scp -r /spark/zookeeper-3.4.6/ huai@spark03:/spark/
1
2

9.修改虚拟机的myid

执行：cd /spark/zookeeper-3.4.6/tmp打开：gedit myid其中：在spark02 中写入"2"在spark03 中写入"3"
1
2
3
4
5
6
7

10.修改虚拟机的环境变量 
按7中的操作分别修改虚拟机spark02和spark03的环境变量。

三.搭建hadoop集群 
1.下载hadoop 
网址：http://mirror.bit.edu.cn/apache/hadoop/core/ 
2.解压

sudo tar -zxvf /home/huai/桌面/hadoop-2.6.0.tar.gz -C /spark  修改权限：sudo chmod -R 777 /spark
1
2
3

3.配置hadoop环境文件

注:在操作hadoop-env.sh,注释以下内容

#export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
1
2

cd到配置文件目录下：cd  /spark/hadoop-2.6.0/etc/hadoop/依次操作:gedit hadoop-env.shgedit yarn-env.shgedit mapred-env.sh依次添加:export JAVA_HOME=/usr/java/jdk1.7.0_80export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"依次保存退出
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

按以下操作依次修改hadoop其它配置文件，可以直接复制到配置文件。相关文件属性以及细节，可以查阅其他资料。

4.gedit core-site.xml

<configuration>  <property>     <name>fs.defaultFS</name>    <value>hdfs://ns1</value>  </property>  <property>     <name>hadoop.tmp.dir</name>     <value>/spark/hadoop-2.6.0/tmp</value>  </property>  <property>     <name>ha.zookeeper.quorum</name>    <value>spark01:2181,spark02:2181,spark03:2181</value>  </property></configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13

5.gedit hdfs-site.xml

<configuration>  <property>     <name>dfs.nameservices</name>     <value>ns1</value>  </property>  <property>     <name>dfs.ha.namenodes.ns1</name>     <value>nn1,nn2</value>  </property>  <property>     <name>dfs.namenode.rpc-address.ns1.nn1</name>     <value>spark01:9000</value>  </property>  <property>      <name>dfs.namenode.http-address.ns1.nn1</name>      <value>spark01:50070</value>  </property>  <property>       <name>dfs.namenode.rpc-address.ns1.nn2</name>       <value>spark02:9000</value>  </property>  <property>     <name>dfs.namenode.http-address.ns1.nn2</name>     <value>spark02:50070</value>  </property>  <property>      <name>dfs.namenode.shared.edits.dir</name>  <value>qjournal://spark01:8485;spark02:8485;spark03:8485/ns1</value>  </property>  <property>     <name>dfs.journalnode.edits.dir</name>     <value>/spark/hadoop-2.6.0/journal</value>  </property>   <property>      <name>dfs.ha.automatic-failover.enabled</name>      <value>true</value>   </property>   <property>      <name>dfs.client.failover.proxy.provider.ns1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>    </property>  <property>     <name>dfs.ha.fencing.methods</name>    <value>          sshfence          shell(/bin/true)        </value>   </property>   <property>      <name>dfs.ha.fencing.ssh.private-key-files</name>      <value>/home/huai/.ssh/id_rsa</value>  </property>  <property>     <name>dfs.ha.fencing.ssh.connect-timeout</name>     <value>30000</value>  </property></configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

6.mv mapred-site.xml.template mapred-site.xml 
gedit mapred-site.xml

<configuration>  <property>      <name>mapreduce.framework.name</name>      <value>yarn</value>  </property></configuration>    
1
2
3
4
5
6

7.gedit yarn-site.xml

<configuration>  <property>      <name>yarn.resourcemanager.ha.enabled</name>      <value>true</value>  </property>   <property>    <name>yarn.resourcemanager.cluster-id</name>    <value>yrc</value>  </property>  <property>      <name>yarn.resourcemanager.ha.rm-ids</name>       <value>rm1,rm2</value>  </property>   <property>      <name>yarn.resourcemanager.hostname.rm1</name>      <value>spark01</value>   </property>   <property>     <name>yarn.resourcemanager.hostname.rm2</name>     <value>spark02</value> </property>   <property>     <name>yarn.resourcemanager.zk-address</name>   <value>spark01:2181,spark02:2181,spark03:2181</value>   </property>   <property>     <name>yarn.nodemanager.aux-services</name>     <value>mapreduce_shuffle</value>     </property></configuration>            
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

8.gedit slaves

spark02spark03
1
2

10.复制到其他节点

scp -r /spark/hadoop-2.6.0 huai@spark02:/spark scp -r /spark/hadoop-2.6.0 huai@spark03:/spark 
1
2

11.修改环境变量,可略过

打开：sudo gedit /etc/profile添加：export HADOOP_HOME=/spark/hadoop-2.6.0export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin刷新：source /etc/profile     
1
2
3
4
5
6
7

12.验证 
输入以下命令，如果出现hadoop对应的版本，则hadoop配置成功。

hadoop version
1

三.集群启动（严格按照下面的步骤）

1.启动zookeeper集群（分别在spark01、spark02、spark03上启动zk）

cd /spark/zookeeper-3.4.6/bin/./zkServer.sh start查看状态：一个leader，两个followerzkServer.sh status
1
2
3
4
5

2.启动journalnode（分别在spark01、spark02、spark03上启动journalnode）

在三台机子上执行：cd /spark/hadoop-2.6.0/sbinhadoop-daemon.sh start journalnode
1
2
3
4

运行jps命令检验，spark01、spark02、spark03上多了JournalNode进程

3.格式化HDFS 
在主节点spark01上执行命令

hdfs namenode -format
1

格式化成功会生成tmp文件,其路径为core-site.xml中的hadoop.tmp.dir配置路径

4.将tmp拷到其他节点 
注意tmp的路径：

scp -r tmp   huai@spark02:/spark/hadoop-2.6.0/scp -r tmp   huai@spark03:/spark/hadoop-2.6.0/
1
2
3

5.格式化ZK

在spark01上执行：hdfs zkfc -formatZK
1
2

6.启动HDFS

在spark01上执行：start-dfs.sh
1
2
3

7.启动YARN.resourcemanager

start-yarn.sh
1

8.验证 
通过以下IP用浏览器访问，一个处于active,一个处于standby，说明集群启动成功。

http://192.168.8.101:50070NameNode 'spark01:9000' (active)http://192.168.8.102:50070NameNode 'spark02:9000' (standby)
1
2
3
4

9.验证HDFS HA

向hdfs上传一个文件：hadoop fs -put /etc/profile /profilehadoop fs -ls /
1
2
3

kill掉active的NameNodekill -9 <pid of NN>访问：http://192.168.8.101:50070 无法打开访问:http://192.168.8.102:50070NameNode 'spark02:9000' (active)
1
2
3
4
5

执行：hadoop fs -ls /-rw-r--r--   3 root supergroup      1926 2015-05-024 15:36 /profile
1
2
3

手动启动挂掉的那个NameNode，在spark01上执行hadoop-daemon.sh start namenode访问：http://192.168.8.101:50070显示：NameNode 'spark01:9000' (standby)删除上传文件：hadoop fs -rm -r /profile
1
2
3
4
5
6
7

到这，hadoop集群相当于已经成功搭建，剩下的就是要搭建基于hadoop的其他组件，如spark,hive,hbase。相信通过自学搭建hadoop集群的人儿，一定受了不少折腾。作为不是技术大牛的人儿，唯有屡败屡战，才能祭奠内心那份对技术的热血澎湃。

---

                                        第四部分 Spark集群搭建

---

因为spark 源代码是使用Scala语言，所以需要安装Scala环境。 
一.安装 Scala 
1.下载 
网址：http://www.scala-lang.org/download/ 
2.解压

sudo tar -zxf  sudo tar -zxvf /home/huai/桌面/scala-2.11.6.tgz  -C /spark
1

3.修改环境变量

打开：sudo gedit /etc/profile添加：export SCALA_HOME=/spark/scala-2.11.6export PATH=PATH:$SCALA_HOME/bin刷新：source /etc/profile
1
2
3
4
5
6
7

4.显示版本

huai@spark01:~$ scala -versionScala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
1
2
3

1. 测试 
   输入”scala”命令，进入scala交互界面

huai@spark01:~$ scalascala> 8*8res0: Int = 64
1
2
3

6.将scala复制到其他节点

scp -r /spark/scala-2.11.6/ huai@spark02:/spark/scp -r /spark/scala-2.11.6/ huai@spark03:/spark/
1
2

7.重复 3修改其他节点的环境变量

二.spark集群搭建 
1.下载 
网址：http://mirror.bit.edu.cn/apache/spark/

2.解压

tar -zxf   /home/huai/桌面/spark-1.5.0-bin-hadoop2.6.tgz -C /spark
1

3.文件名修改为：spark-1.5.0

mv /spark/spark-1.5.0-bin-hadoop2.6  spark-1.5.0
1

4.修改环境变量

打开：sudo gedit  /etc/profile添加：export SPARK_HOME=/spark/spark-1.5.0export PATH=PATH:$SPARK_HOME/bin刷新：source /etc/profile  
1
2
3
4
5
6
7

5.配置spark-env.sh

进入spark的conf目录：cd /spark/spark-1.5.0/conf/mv  spark-env.sh.template spark-env.sh打开：sudo gedit  spark-env.sh添加：export JAVA_HOME=/usr/java/jdk1.7.0_80export SCALA_HOME=/spark/scala-2.11.6export SPARK_MASTER_IP=192.168.8.101export SPARK_WORKER_MEMORY=1gexport HADOOP_CONF_DIR=/spark/hadoop-2.6.0/etc/hadoopexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

6.配置slaves

在spark的conf目录下：mv slaves.template slaves打开：sudo gedit  slaves添加：spark01spark02spark03     
1
2
3
4
5
6
7
8
9
10

7.把spark复制到其他节点

scp -r spark-1.5.0 huai@spark02:/spark/scp -r spark-1.5.0 huai@spark03:/spark/
1
2
3

8.修改虚拟阶环境变量

sudo gedit /etc/profile添加：export SPARK_HOME=/spark/spark-1.5.0export PATH=PATH:$SPARK_HOME/binexport SCALA_HOME=/spark/scala-2.11.6export PATH=PATH:$SCALA_HOME/bin刷新：source /etc/profile
1
2
3
4
5
6
7
8

三.启动集群 
1.启动zookeeper

在每台运行：zkServer.sh start
1
2

2.启动hadoop集群，在hadoop的sbin目录下执行：

start-all.sh
1

3.启动spark集群

/spark/spark-1.5.0/bin$./start-all.sh
1

5.Web管理界面

http://192.168.8.101:8080/
1

Spark有好几个模块，如SparkSQL,Graphx,MLlib。因为Mapreduce处理速率不如Spark快，Spark将成为Mapreduce的替代品。对于Spark，我主要学习了机器学习MLlib和SparkSQL。如果你对大数据感兴趣，那么建议好好研究一下Spark。

---

                                 第五部分 Hive集群搭建

---

一.概述 
hive安装可分为四部分:

1)安装mysql2)配置 Metastore3)配置HiveClient 4)配置hiveserver
1
2
3
4

搭建分布:mysql,Metastore安装配置在主节点spark01上, HiveClient客户端安装在spark02上。注：HiveClient客户端也可以不配置。

三.安装mysql 
mysql只需在物理机spark01上安装，Ubuntu软件中心下载安装mysql服务器

1.配置mysql

运行：/usr/bin/mysql_secure_installation输入密码：删除匿名用户:Remove anonymous users? [Y/n] Y允许用户远程连接:Disallow root login remotely? [Y/n]n移除test数据库:Remove test database and access to it? [Y/n] Y
1
2
3
4
5
6
7
8
9
10

2.登陆mysql

  mysql -u root -p
1

3.建立hive数据库,并对其授权,注’huai’为你设立的登录密码

mysql>create database hive;mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'huai' WITH GRANT OPTION;mysql>FLUSH PRIVILEGES; 
1
2
3
4

4.修改hive数据库字符 
一定要修改，不然hive建表时会报错。

mysql>alter database hive character set latin1
1

5.修改允许远程登录mysql

sudo gedit /etc/mysql/my.cnf注释：#bind-address=127.0.0.1
1
2
3

三.安装Hive 
1.下载 
网址：http://mirrors.cnnic.cn/apache/hive/ 
2.解压

sudo tar -zxvf /home/huai/桌面apache-hive-1.2.0.tar.gz -C /spark/文件名修改为hive-1.2.0mv apache-hive-1.2.0   hive-1.2.0
1
2
3
4

3.修改配置文件名 
在hive-1.2.0/conf下

mv hive-default.xml.template hive-site.xmlmv  hive-log4j.properties.template hive-log4j.propertiesmv  hive-exec-log4j.properties.template  hive-exec-log4j.propertiesmv hive-env.sh.template   hive-env.sh
1
2
3
4

4.gedit hive-env.sh

export HADOOP_HOME=/spark/hadoop-2.6.0export HIVE_CONF_DIR=/spark/hive-1.2.0/conf
1
2

5.gedit hive-log4j.properties 
添加

 hive.log.dir=/spark/hive-1.2.0/logs
1

6.新建logs文件

mkdir /spark/hive-1.2.0/logs
1

7.gedit hive-site.xml 
删除所有内容,添加如下内容.注意配置文件中的’huai’为mysql登录密码,记得修改

<configuration>   <property>      <name>hive.metastore.warehouse.dir</name>      <value>hdfs://ns1/hive/warehouse</value>   </property>    <property>      <name>hive.exec.scratchdir</name>      <value>hdfs://ns1/hive/scratchdir</value>   </property>   <property>      <name>hive.querylog.location</name>      <value>/spark/hive-1.2.0/logs</value>   </property>   <property>      <name>javax.jdo.option.ConnectionURL</name>      <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>   </property>   <property>       <name>javax.jdo.option.ConnectionDriverName</name>       <value>com.mysql.jdbc.Driver</value>    </property>    <property>    <name>javax.jdo.option.ConnectionUserName</name>    <value>root</value>    </property>    <property>    <name>javax.jdo.option.ConnectionPassword</name>    <value>huai</value>    </property>     <property>         <name>hive.zookeeper.quorum</name>         <value>spark01,spark02,spark03</value>     </property></configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

8.配置环境变量

打开：sudo gedit /etc/profile添加：export　HIVE_HOME=/spark/hive-1.2.0export PATH=:$HIVE_HOME/bin刷新：source /etc/profile
1
2
3
4
5
6
7
8

9.在hive/lib下有个jline的jar，将hadoop内的这个jar包换成一致的，否则会启动hive会报错。

10.hive和mysq安装完成后，将mysql-connector-java-5.1.25-bin.jar连接jar拷贝到hive-1.2.0/lib目录下，在hive-1.2.0/bin下，运行：

 ./hive
1

11.访问 http://192.168.8.101:50070 
查看hadoop文件系统,多了个hive文件,证明安装成功。 
12.修改hive文件权限

hadoop fs -chmod -R 777 /hive
1

四.配置hiveserver

gedit hive-site.xml 
添加:

<property>     <name>hive.server2.thrift.min.worker.threads</name>     <value>1</value>     <description>Minimum number of Thrift worker threads</description></property><property>   <name>hive.server2.thrift.max.worker.threads</name>   <value>100</value>  </property>  <property>      <name>hive.server2.thrift.port</name>      <value>10000</value>  </property>   <property>      <name>hive.server2.thrift.bind.host</name>      <value>spark01</value> </property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

五.Hive客户端配置 
1.将hive从Master节点(spark01)拷贝到Slave节点(spark02)上

scp -r /spark/hive-1.2.0  huai@spark02:/spark/
1

2.配置Metastore的连接信息 
在hive-1.2.0/conf下

gedit hive-site.xml添加：<property> <name>hive.metastore.uris</name>  <value>thrift://spark01:9083</value></property>
1
2
3
4
5
6

3.修改环境变量

sudo gedit /etc/profileexport HIVE_HOME=/spark/hive-1.2.0export PATH=:$HIVE_HOME/binsource /etc/profile
1
2
3
4

---

                                       第五部分 Hbase集群搭建

---

一.配置hbase 
1.下载 
网址：http://mirrors.hust.edu.cn/apache/hbase/ 
2.解压

 tar -zxf  /home/huai/桌面/hbase-1.1.2.tgz -C /spark
1

使用外部zk,配置hbase集群

3.gedit hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_80export HBASE_MANAGES_ZK=falseexport HBASE_PID_DIR=/spark/hbase-1.1.2/pidsexport HBASE_CLASSPATH=/spark/hadoop-2.6.0/etc/hadoopexport HBASE_HOME=/spark/hbase-1.1.2
1
2
3
4
5
6

3.gedit hbase-site.xml

<configuration>   <property>       <name>hbase.tmp.dir</name>       <value>/spark/hbase-1.1.2/tmp</value>   </property>  <property>      <name>hbase.rootdir</name>      <value>hdfs://ns1/hbase</value>   </property>    <property>         <name>hbase.cluster.distributed</name>         <value>true</value>   </property>   <property>      <name>zookeeper.session.timeout</name>      <value>120000</value>   </property>   <property>    <name>hbase.zookeeper.property.tickTime</name>    <value>6000</value>  </property>  <property>     <name>hbase.zookeeper.property.clientPort</name>     <value>2181</value>   </property>   <property>      <name>hbase.zookeeper.quorum</name>      <value>spark01,spark02,spark03</value>    </property>   <property>      <name>hbase.zookeeper.property.dataDir</name>       <value>/spark/zookeeper-3.4.6/tmp</value>   </property>   <property>      <name>dfs.replication</name>      <value>2</value>    </property>    <property>        <name>hbase.master.maxclockskew</name>        <value>180000</value>    </property> </configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

4.gedit regionservers

spark02spark03
1
2

5.把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

6.拷贝hbase到其他节点

scp -r /spark/hbase-1.1.0  huai@spark02:/spark/scp -r /spark/hbase-1.1.0  huai@spark03:/spark/
1
2

7.修改环境变量

sudo gedit /etc/profileexport HBASE_HOME=/spark/hbase-1.1.0export PATH=$HBASE_HOME/bin:$PATHsource /etc/profile
1
2
3
4

8.将配置好的hbase拷贝到每一个节点并同步时间和修改环境变量

二.启动hbase 
1.启动zk

zkServer.sh start 
1

2.启动hadoop集群

start-dfs.sh
1

3.启动hbase，在主节点上hbase-1.1.0/bin运行

start-hbase.sh
1

3.通过浏览器访问hbase Web页面 
HMaster　Web页面

http://192.168.8.101:16010 
1

HRegionServer Web页面

http://192.168.8.101:16030
1

4.shell　验证 
进入hbase bin目录下：

huai@spark01:/spark/hbase-1.1.0/bin$ ./hbase shell
1

1）使用list验证:

hbase(main):001:0> list     TABLE                                                                                user                                                                                 1 row(s) in 1.4940 seconds     => ["user"]     hbase(main):002:0> 
1
2
3
4
5
6

2） 建表验证

create 'user','name','sex'
1

如果list和建表都没出现错误的话,就意味着Hbase 安装成功

三.搭建错误排除

1.当Hbase shell时出现这样的错误

 SLF4J: Found binding in [jar:file:/usr/local/hbase-1.1.0/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class
1

这是因为hadoop和hbase的slf4j-log4j12 jar包冲突,将HBase中的slf4j-log4j12-1.7.5移除 
2.Hbase运行要在hadoop非安全模式下使用,使用以下命令查看hadoop安全模式和退出安全模式.

hdfs dfsadmin -safemode get      //查看hdfs dfsadmin -safemode leave    //退出
1
2

3.安装失败后,要删除hadoop文件系统下的Hbase文件,使用命令

hadoop fs -rm -r -f /hbase
1

4.这是最关键的。hosts文件中localhost的IP为127.0.0.1,如果有127.0.1.1的话,要将其改为127.0.0.1,以下是笔者hosts文件中的内容:

sudo gedit /etc/hosts

127.0.0.1 localhost192.168.8.101    spark01   192.168.8.102    spark02192.168.8.103    spark03#The following lines are desirable for IPv6 capable hosts::1     ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00::0 ip6-mcastprefixff02::1 ip6-allnodesff02::2 ip6-allrouters
1
2
3
4
5
6
7
8
9
10
11
12
13

注:spark01,spark02,spark03为集群主机名

5.修改hbase文件目录权限

hadoop fs -chmod -R 777 /hbase  
1

6.如果你多次安装过不同版本的hbase且使用外部zookeeper,记得清理zookeeper中Hbase中文件,笔者就是因为这个问题,苦苦折磨了一周.

关闭hbase,在zookeeper的bin目录运行zkCli.sh 
终端最后显示:

WATCHER::WatchedEvent state:SyncConnected type:None path:null[zk: localhost:2181(CONNECTED) 0] 
1
2
3

按以下操作删除Hbase

[zk: localhost:2181(CONNECTED) 1] ls /[hbase, hadoop-ha, yarn-leader-election, zookeeper]
1
2

如果有hbase则进行下一步

[zk: localhost:2181(CONNECTED) 2] rmr /Hbase
1

重启hbase

start-hbase.sh
1

7.单独启动HMaster，Hregionserve命令

hbase-daemon.sh  start regionserver hbase-daemon.sh  stop masterhbase-daemon.sh  start  regionserverhbase-daemon.sh  stop  regionserver
1
2
3
4

四.hbase安装总结

1.Hbase与hadoop有版本兼容要求,一般的解决方式都是把Hbase中与hadoop相关的jar包,替换成hadoop版本的jar包。 
2.集群时间记得要同步,同步方式界面操作调整时区和格式。 
3.安装会因为环境不同,而出现不同的错误,但整个安装过程应该有这样的心态:屡败屡战,经折腾。

---

作者后言： 
满纸荒唐言，一把辛酸泪。都云作者痴，谁解其中味。第一篇博客到此结束，如果你看到，集群也配到这，证明你配置成功了，恭喜你了。由于是第一次写博客，加上学习时间也比较紧，文章或多或少有些瑕疵，还望见谅。