hadoop2.7【单节点】单机、伪分布、分布式安装指导
来源:互联网 发布:服务网络ios 编辑:程序博客网 时间:2024/06/10 03:49
转载:hadoop2.7【单节点】单机、伪分布、分布式安装指导
http://www.aboutyun.com/thread-12798-1-1.html
###############################################
1.准备
安装jdk1.7参考
linux(ubuntu)安装Java jdk环境变量设置及小程序测试
测试:
Java -version
安装ssh
最后达到无密码登录
安装rsync
修改网卡:
注释掉127.0.1.1 ubuntu
添加新的映射
10.0.0.81 ubuntu
这里必须修改,否则后面会遇到连接拒绝等问题
2.安装
进入配置文件目录
我这里是
~/hadoop-2.7.0/etc/hadoop
修改配置文件:
etc/hadoop/hadoop-env.sh
添加JAVA_HOME、HADOOP_COMMON_HOME
配置环境变量
sudo nano /etc/environment
增加hadoop配置
将下面添加到变量PATH中
########################################################
3.本地模式验证[可忽略]
所谓的本地模式:在运行程序的时候,比如wordcount是在本地磁盘运行的
上面已经配置完毕,我们对其测试,分别执行面命令:
注意: bin/hadoop的执行条件是在hadoop_home中,我这里是
##################################################################
上面本地模式,我们知道就可以,我们下面继续配置伪分布模式
4.伪分布模式
我这里的全路径:/home/aboutyun/hadoop-2.7.0/etc/hadoop
修改文件etc/hadoop/core-site.xml
添加如下内容:
含义:接收Client连接的RPC端口,用于获取文件系统metadata信息。
修改etc/hadoop/hdfs-site.xml:
添加如下内容:
含义:备份只有一份
###################################
补充重要:
由于系统重启后,找不到namenode进程,这是因为系统在重启后被删除,所以加入下面配置
同时,注意权限
###################################
5.伪分布模式
1.格式化namenode
有的地方使用
如果配置的环境变量直接使用hdfs namenode -format即可
2.启动集群
这时候单节点伪分布就已经安装成功了
#####################################################
验证[可忽略]
输入下面
如果是在虚拟机中安装,但是在宿主主机中访问,需要输入虚拟机ip地址
这里虚拟机ip地址是10.0.0.81
所以,我这里是
配置到这里也是可以的,我们同样可以运行wordcount,也就是我们的mapreduce不运行在yarn上。如果想让程序运行在yarn上,继续下面配置
#####################################################
6.配置Yarn
1.修改配置文件
修改配置文件mapred-site.xml
编辑文件etc/hadoop/mapred-site.xml,添加下面内容由于etc/hadoop中没有mapred-site.xml,所以对mapred-queues.xml.template复制一份
然后编辑文件mapred-site.xml
添加
最后形式:
修改配置文件yarn-site.xml
添加如下内容:
2.启动yarn
(由于我这里已经配置了环境变来那个,所以在哪个地方都可以运行start-yarn.sh)
如果你没有配置环境变量,则需要进入hadoop_home,执行下面命令
3.验证
启动yarn之后,输入
即可看到下面界面
http://www.aboutyun.com/thread-12798-1-1.html
(出处: about云开发)
问题导读
1.从本文部署实际部署,总结本地模式、伪分布、分布式的区别是什么?
2.单机是否是伪分布?
3.本地模式是否可以运行mapreduce?
hadoop2.7发布,这一版不太适合用于生产环境,但是并不影响学习:由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是:
- 本地模式
- 伪分布
- 分布式
###############################################
1.准备
安装jdk1.7参考
linux(ubuntu)安装Java jdk环境变量设置及小程序测试
测试:
Java -version
安装ssh
最后达到无密码登录
安装rsync
修改网卡:
注释掉127.0.1.1 ubuntu
添加新的映射
10.0.0.81 ubuntu
这里必须修改,否则后面会遇到连接拒绝等问题
2.安装
进入配置文件目录
我这里是
~/hadoop-2.7.0/etc/hadoop
修改配置文件:
etc/hadoop/hadoop-env.sh
添加JAVA_HOME、HADOOP_COMMON_HOME
配置环境变量
sudo nano /etc/environment
增加hadoop配置
将下面添加到变量PATH中
########################################################
3.本地模式验证[可忽略]
所谓的本地模式:在运行程序的时候,比如wordcount是在本地磁盘运行的
上面已经配置完毕,我们对其测试,分别执行面命令:
注意: bin/hadoop的执行条件是在hadoop_home中,我这里是
##################################################################
上面本地模式,我们知道就可以,我们下面继续配置伪分布模式
4.伪分布模式
我这里的全路径:/home/aboutyun/hadoop-2.7.0/etc/hadoop
修改文件etc/hadoop/core-site.xml
添加如下内容:
含义:接收Client连接的RPC端口,用于获取文件系统metadata信息。
修改etc/hadoop/hdfs-site.xml:
添加如下内容:
含义:备份只有一份
###################################
补充重要:
由于系统重启后,找不到namenode进程,这是因为系统在重启后被删除,所以加入下面配置
[XML] 纯文本查看 复制代码
01
<
property
>
02
<
name
>dfs.namenode.name.dir</
name
>
03
<
value
>file:/home/aboutyun123/dfs/name</
value
>
04
</
property
>
05
<
property
>
06
<
name
>dfs.datanode.data.dir</
name
>
07
<
value
>file:/home/aboutyun123/dfs/data</
value
>
08
</
property
>
同时,注意权限
###################################
5.伪分布模式
1.格式化namenode
有的地方使用
如果配置的环境变量直接使用hdfs namenode -format即可
2.启动集群
这时候单节点伪分布就已经安装成功了
#####################################################
验证[可忽略]
输入下面
如果是在虚拟机中安装,但是在宿主主机中访问,需要输入虚拟机ip地址
这里虚拟机ip地址是10.0.0.81
所以,我这里是
配置到这里也是可以的,我们同样可以运行wordcount,也就是我们的mapreduce不运行在yarn上。如果想让程序运行在yarn上,继续下面配置
#####################################################
6.配置Yarn
1.修改配置文件
修改配置文件mapred-site.xml
编辑文件etc/hadoop/mapred-site.xml,添加下面内容由于etc/hadoop中没有mapred-site.xml,所以对mapred-queues.xml.template复制一份
然后编辑文件mapred-site.xml
添加
最后形式:
修改配置文件yarn-site.xml
添加如下内容:
2.启动yarn
(由于我这里已经配置了环境变来那个,所以在哪个地方都可以运行start-yarn.sh)
如果你没有配置环境变量,则需要进入hadoop_home,执行下面命令
3.验证
启动yarn之后,输入
即可看到下面界面
0 0
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- Hadoop2.2.0单机伪分布式安装配置
- 单机/伪分布式Hadoop2.4.1安装文档
- 单机/伪分布式Hadoop2.4.1安装文档
- Hadoop2.6.0单机/伪分布式安装
- hadoop2.6.0伪分布式单机全安装
- Hadoop2.6.0单机伪分布式安装
- Hadoop2.2.0单节点伪分布式搭建
- Ubuntu安装Hadoop2进行单机和伪分布配置
- Ubuntu16.04如何安装Hadoop2.6.0(单机伪分布方式)
- centos7下安装编译并搭建hadoop2.6.0单节点伪分布式集群
- Ubuntu 14.04安装Hadoop2.5.2单机+伪分布式
- 最新版hadoop2.7.1单机版与伪分布式安装配置
- 最新版hadoop2.7.1单机版与伪分布式安装配置
- hadoop2.2.0伪分布式单节点搭建(mac os)
- hadoop2.7伪分布安装配置
- Hadoop2环境搭建(单机伪分布)
- oracle 整理磁盘碎片
- Return from initializer without initializing all stored properties 错误
- android屏幕适配 - 超级解决方案percent-support-lib
- android 使用mupdf开源开发pdf详解
- C语言获取系统时间的几种方式 !
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- app宣传
- Intellij Idea 创建JavaWeb项目
- 基本文件的I/O --压缩文件
- CentOS6.5 + LAMP + Yaf +Svn
- SQL 一条SQL语句 统计 各班总人数,男女各总人数 ,各自 男女 比例
- Python daemonize
- Proguard 部分类不混淆的技巧
- 黑马程序员——Java之常用API