hadoop2.7【单节点】单机、伪分布、分布式安装指导
来源:互联网 发布:厦门市网络爬虫 编辑:程序博客网 时间:2024/06/10 05:58
http://www.aboutyun.com/thread-12798-1-1.html
hadoop2.7发布,这一版不太适合用于生产环境,但是并不影响学习:由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是:
- 本地模式
- 伪分布
- 分布式
###############################################
1.准备
安装jdk1.7参考
linux(ubuntu)安装Java jdk环境变量设置及小程序测试
测试:
Java -version
安装ssh
最后达到无密码登录
安装rsync
修改网卡:
注释掉127.0.1.1 ubuntu
添加新的映射
10.0.0.81 ubuntu
这里必须修改,否则后面会遇到连接拒绝等问题
2.安装
进入配置文件目录
我这里是
~/hadoop-2.7.0/etc/hadoop
修改配置文件:
etc/hadoop/hadoop-env.sh
添加JAVA_HOME、HADOOP_COMMON_HOME
配置环境变量
sudo nano /etc/environment
增加hadoop配置
将下面添加到变量PATH中
########################################################
3.本地模式验证[可忽略]
所谓的本地模式:在运行程序的时候,比如wordcount是在本地磁盘运行的
上面已经配置完毕,我们对其测试,分别执行面命令:
注意: bin/hadoop的执行条件是在hadoop_home中,我这里是
##################################################################
上面本地模式,我们知道就可以,我们下面继续配置伪分布模式
4.伪分布模式
我这里的全路径:/home/aboutyun/hadoop-2.7.0/etc/hadoop
修改文件etc/hadoop/core-site.xml
添加如下内容:
含义:接收Client连接的RPC端口,用于获取文件系统metadata信息。
修改etc/hadoop/hdfs-site.xml:
添加如下内容:
含义:备份只有一份
###################################
补充重要:
由于系统重启后,找不到namenode进程,这是因为系统在重启后被删除,所以加入下面配置
[XML] 纯文本查看 复制代码
01
<
property
>
02
<
name
>dfs.namenode.name.dir</
name
>
03
<
value
>file:/home/aboutyun123/dfs/name</
value
>
04
</
property
>
05
<
property
>
06
<
name
>dfs.datanode.data.dir</
name
>
07
<
value
>file:/home/aboutyun123/dfs/data</
value
>
08
</
property
>
同时,注意权限
###################################
5.伪分布模式
1.格式化namenode
有的地方使用
如果配置的环境变量直接使用hdfs namenode -format即可
2.启动集群
这时候单节点伪分布就已经安装成功了
#####################################################
验证[可忽略]
输入下面
如果是在虚拟机中安装,但是在宿主主机中访问,需要输入虚拟机ip地址
这里虚拟机ip地址是10.0.0.81
所以,我这里是
配置到这里也是可以的,我们同样可以运行wordcount,也就是我们的mapreduce不运行在yarn上。如果想让程序运行在yarn上,继续下面配置
#####################################################
6.配置Yarn
1.修改配置文件
修改配置文件mapred-site.xml
编辑文件etc/hadoop/mapred-site.xml,添加下面内容由于etc/hadoop中没有mapred-site.xml,所以对mapred-queues.xml.template复制一份
然后编辑文件mapred-site.xml
添加
最后形式:
修改配置文件yarn-site.xml
添加如下内容:
2.启动yarn
(由于我这里已经配置了环境变来那个,所以在哪个地方都可以运行start-yarn.sh)
如果你没有配置环境变量,则需要进入hadoop_home,执行下面命令
3.验证
启动yarn之后,输入
即可看到下面界面
下一篇hadoop2.7 运行wordcount
遇到问题
问题1:
解决办法:
在~/hadoop-2.7.0/etc/hadoop/hadoop-env.sh中添加
重启生效
问题2:
格式化Java_home not found
在/etc/environment 中添加
生效
重启[如还不行,重启]
0 0
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- Hadoop2.2.0单机伪分布式安装配置
- 单机/伪分布式Hadoop2.4.1安装文档
- 单机/伪分布式Hadoop2.4.1安装文档
- Hadoop2.6.0单机/伪分布式安装
- hadoop2.6.0伪分布式单机全安装
- Hadoop2.6.0单机伪分布式安装
- Hadoop2.2.0单节点伪分布式搭建
- Ubuntu安装Hadoop2进行单机和伪分布配置
- Ubuntu16.04如何安装Hadoop2.6.0(单机伪分布方式)
- centos7下安装编译并搭建hadoop2.6.0单节点伪分布式集群
- Ubuntu 14.04安装Hadoop2.5.2单机+伪分布式
- 最新版hadoop2.7.1单机版与伪分布式安装配置
- 最新版hadoop2.7.1单机版与伪分布式安装配置
- hadoop2.2.0伪分布式单节点搭建(mac os)
- hadoop2.7伪分布安装配置
- Hadoop2环境搭建(单机伪分布)
- 【BootStrap】初步教程
- Android 横竖屏切换时,当前activity界面的dialog消失的问题
- 【打CF,学算法——二星级】Codeforces Round #312 (Div. 2) A Lala Land and Apple Trees
- POJ 3536 Beer Refrigerator(水~)
- Jenkins(for mac)相关参数配置文件及位置说明
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- linux下Epoll实现简单的C/S通信(转载)
- vi命令大全
- oracle递归查询实例
- 对烦人的findViewById说再见吧!
- 【Java】位运算
- 黑马程序员--IOS基础第七天(C语言)
- Android c/c++ 应用向linux 平台迁移运行
- public ,protected,private