Hadoop开发:hadoop部署安装过程

来源:互联网 发布:劲舞团淘宝卖家 编辑:程序博客网 时间:2024/06/02 21:35
一、安装环境说明

硬件:

软件

系统 :Windows 7 64位

在Visualbox 4.2.12下,配置两台cenos6.4 的虚拟机,两台HOSTNAME分别配置为hadoop001,hadoop002

二、安装过程

1、安装节点及网络配置,由于之前都是用debain系统,配置centos网络配置时有点小折腾,连个节点的的网络配置在上一篇博客中有详述。

2、在两台机子分别 创建一个grid用户,为了学习便捷,就用一个简单的密码

3、下载jdk,可以看到,我下载jdk速度很慢,大概用了半个小时,下载hadoop时倒是很快。所以我就不等jdk下载完就先去做了ssh的免密码登陆了

4、创建rsa密钥,并拷贝公钥,配置ssh的免密码登陆。

5、由于hapoop001这台在下载jdk,于是我在hadoop002下载hadoop

6、配置core-site.xml,到后面运行hadoop时,发现此处配置有误,应该为hadoop001

7、配置hdfs-size.xml

8、修改masters、slaves文件

9、编辑hosts文件及验证host文件的修改

10、farmat namenode

11、启动有个错误提示,原因是我忘记了把jdk拷贝到hadoop002,而且前面的core-site.xml配置有误,应该是hadoop001

复制了jdk到hadoop002,并且core-site.xml配置。

12、,在主节点上 运行jps命令,看到hadoop的三个进程都已经成功运行,启动hadoop成功。

来自东子哥的Blog

海峡移动开发技术群:13734312