离线安装Cloudera

来源：互联网发布：关于费米估算法的书编辑：程序博客网时间：2024/05/19 22:51

下载文件：
1，下载CDH，http://archive.cloudera.com/cdh5/parcels/latest 注意版本问题parcel, parcel.sha1, manifest.json
2，下载CM http://archive-primary.cloudera.com/cm5/cm/5/
3，下载JDK 使用7.79版本

配置：
如果没有说明都是root操作
1，网络配置
1.1 修改hostname，vim /etc/sysconfig/network
     HOSTNAME=n1
其他节点类似
2 修改hosts
192.168.1.160 n1
192.168.1.161 n2
192.168.1.162 n3

3，安装java jdk
rpm -ivh jdk-7u79-linux-x64.rpm
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
4，防火墙和selinux
service iptables stop
chkconfig iptables off
vim /etc/selinux/config -> disabled

5，安装配置ntp服务
5.1 安装，yum -y install ntp
5.2 配置主节点替换默认的server
server 1.cn.pool.ntp.org prefer
server 127.127.1.0
fludge 127.127.1.0 stratum 10

从节点配置，替换默认的主节点
server n1
5.3 启动 service ntpd start | chkconfig ntpd on
6,安装mysql connector
yum -y install mysql-connector-java.noarch
7,准备scm账户
useradd --system --home=/opt/cm-5.3.9/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

配置n1（额外）：
1，ssh登陆
1.1 n1产生公钥
ssh-keygen -t rsa
1.2 把公钥添加到认证文件中
　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
1.3 设置文件权限
　chmod 600 ~/.ssh/authorized_keys
1.4 拷贝认证文件到所有datanode(n2,n3)节点
　scp ~/.ssh/authorized_keys root@n2:~/.ssh/
1.5 测试是否可以无密码登录
　ssh n2 | ssh n3
2, 安装mysql
2.1 安装 mysql
　yum install mysql-server   | service mysqld start |chkconfig mysqld on
2.2 设置root密码
mysqladmin -u root password 'mysql'
2.3 准备数据库
　mysql -uroot -p
创建两个数据库hive，activity monitor
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
授权访问：
grant all privileges on *.* to 'root'@'n1' identified by 'root' with grant option;
flush privileges;
3，ntp
已经配置，查看状态：ntpstat
手动同步ntp，节点n2,n3: ntpdate -u n1

部署，在n1节点操作：
1，将部署文件cloudera-manager-el6-cm5.3.9_x86_64.tar.gz放到/opt下
tar -xzvf cloudera-manager-el6-cm5.3.9_x86_64.tar.gz
2，准备parcels
cd /opt/cloudera/parcel-repo/
将CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel.sha manifest.json
三个文件放到此目录
3，修改agent配置
vim /opt/cm-5.3.9/etc/cloudera-scm-agent/config.ini
server_host=n1
4. 拷贝agent到各datanode节点（n2-n3)
　scp -r /opt/cm-5.3.9 root@n2:/opt/
5. 初始化数据库
/opt/cm-5.3.9/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pchina --scm-host localhost scm scm scm

安装：　
1. 在namenode启动server和agent(主节点也是要做到集群中的, 所以主节点也要开启Agent)
　　/opt/cm-5.3.9/etc/init.d/cloudera-scm-server start
　　/opt/cm-5.3.9/etc/init.d/cloudera-scm-agent start
2. 在所有datanode启动agent
　　/opt/cm-5.3.9/etc/init.d/cloudera-scm-agent start
3. 在局域网内访问: http://n1:7180/cmf/login, 如果你是windows可以修改hosts文件后用: http://n1:7180/cmf/login
   默认帐号密码：admin，安装使用free版本
注意：有个问题：Cloudera 建议将/proc/sys/vm/swappiness设置为0,当前设置为60
　echo 0 > /proc/sys/vm/swappiness 即可解决
查看状态：
端口：netstat -tunlp | grep java

安装之后，登陆：http://n1:7180/cmf/login

参考：http://www.cnblogs.com/modestmt/p/4540818.html

0 0