cloudera manager和cdh离线安装

前言

---

之前使用apache hadoop版本安装部署集群，需要自己控制各个组件版本，以及添加节点和服务要花很多时间，所以使用cloudera来进行安装和管理，以及后期方便维护与升级。目前我厂集群正式环境使用的是这种方式

组件介绍

cloudera公司在apache hadoop发行版基础上，bug fixs和加入额外的一些组件，整体测试打包发行的版本叫CDH。融入到CDH的额外组件如spark和impala。
有些组件需要单独下载安装包进行安装，如kafka和LZO，cm安装kafka见cloudera集成kafka

cloudera提供了三种安装集群方式，可以在线和离线安装，本文使用cloudera manager离线安装CDH

cloudera manager有两个主要组件：server和agent
server端作用：
分发agent到各个节点
汇集各个agent的信息
下载parcel包，且分发激活到各个agent节点，具体激活又agent执行
agent端作用：
接受server端指令
收集所在节点的健康状态且向server报告

安装前的资源准备

云主机3台（配置：内存32G，cpu8核，硬盘500G，系统盘20G） 说明：内存3个G的虚拟机三台也可以安装
操作系统Centos 6.5
CDH5.4.4
Cloudera manager 5.4.3，简称CM 5.4.3
mysql 5
cloudera-manager-installer.bin
外网ip(如果你内网可以访问则不需要)

注意：cloudera manager自带了jdk，不需要自行下载安装jdk

修改各个主机名: 可以临时修改，并做永久配置，这样重启之后还会生效，如

[root@hostname ~]# vi /etc/sysconfig/network   //永久修改NETWORKING=yesHOSTNAME=dmall1[root@hostname ~]# reboot //重启生效

配置hosts文件，如

[root@dmall1 ~]# vi /etc/hosts127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6# hostname loopback address#127.0.1.1      i-weovdr9t172.16.20.2     dmall1172.16.20.3     dmall2172.16.20.4     dmall3

注意：如果主机名带域名，则/etc/sysconfig/network和/etc/hosts文件分别带有域名，其中hosts的格式为”ip 带有域名的主机名 主机名”
hostname 主机名 不需重启，立即生效

配置ssh免密码登录，如

[root@dmall1 ~]# ssh-keygen -t rsa -P ''[root@dmall1 ~]# cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys[root@dmall1 ~]# chmod -R 700 ~/.ssh[root@dmall1 ~]# chmod 600 ~/.ssh/authorized_keys分发.ssh和hosts到其他两个节点[root@dmall1 ~]# scp -r .ssh/ dmall2:~/scp /etc/hosts dmall2:/etc/hostsscp /etc/hosts dmall3:/etc/hosts

关闭防火墙

[root@dmall1 ~]# service iptables offUsage: iptables {start|stop|reload|restart|condrestart|status|panic|save}[root@dmall1 ~]# service iptables stop[root@dmall1 ~]# chkconfig iptables off[root@dmall1 ~]# service iptables statusiptables: Firewall is not running.[root@dmall1 ~]# chkconfig --list iptablesiptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off

添加cm本地源

vi /etc/yum.repos.d/cloudera-manager.repo[cloudera-manager]name = Cloudera Manager, Version 5.4.3baseurl = http://域名:8888/cm5.4.3/gpgcheck = 0

开始安装

[root@dmall1 ~]# chmod +x cloudera-manager-installer.bin[root@dmall1 ~]# ./cloudera-manager-installer.bin --skip_repo_package=1

登录cloudera manager
地址：http://外网ip:7180/cmf/login
默认账户密码：admin admin

注意：如果访问显示未连接，可能scm-server服务还没启动完成
查看服务是否启动完成：tail -f /var/log/cloudera-scm-server/

安装mysql

[root@dmall1 home]# yum -y install mysql-server[root@dmall1 home]# chkconfig mysqld on[root@dmall1 home]# service mysqld startmysqladmin -u root password dmall1123

设置root授权访问以上所有的数据库：

授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'%' identified by 'dmall1123' with grant option;flush privileges;

setenforce 0 （临时生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

永久生效
sysctl vm.swappiness=0
echo “vm.swappiness=0”>> /etc/sysctl.conf