在集群上安装Hadoop1.2.1,并配置好,启动hdfs后使用jps查看datanode,启动后过一会再看就消失了
来源:互联网 发布:微信 打开淘宝客户端 编辑:程序博客网 时间:2024/06/09 22:48
在网上看了好多的解决办法,都是千篇一律的namenode的namespaceID或者clusterID不匹配,但是我查看了我的日志,并没有发现类似的情况,而且都是正常的,没有出现Error的信息,但是也有的文章启发了我,可以试试从缓存文件下手,于是我就将集群上面所有的hadoop配置的hadoop.tmp.dir对应的文件使用rm命令删除,并将集群上面/tmp文件中有关于Hadoop的缓存文件也全部删除,随后我又重新使用hadoop namenode -format命令格式化了一下,再使用start-all.sh命令启动,竟然真的运行正常了!
上面是我两天前的结论,昨天我又部署集群的时候,同样又出现了这样的问题,用了上面的办法解决了一次,但是又复发了,于是我就把DataNode的log看了一遍,发现了问题出现在了DataNode中,DataNode的log中显示namenode和datanode中的namespaceID不匹配,于是我就找到了DataNode上的我配置的hadoop.tmp.dir目录下的dfs/data/current/VERSION文件和namenode上的我配置的hadoop.tmp.dir目录下的dfs/name/current/VERSION文件,用vi打开后发现确实两个文件的namespaceID不同,然后我就将namenode上VERSION文件中的namespaceID替换了datanode上VERSION文件中的namespaceID,随后又重新启动hadoop,运行成功!
这是我的第一篇博客,以上也都是我遇到的一些问题和解决方法和步骤,希望能帮助到各位。
- 在集群上安装Hadoop1.2.1,并配置好,启动hdfs后使用jps查看datanode,启动后过一会再看就消失了
- hmaster进程启动后,过一会就自动消失了
- hadoop集群启动jps查看后没有DATANODE
- hadoop集群启动后,datanode节点上jps后NodeManager无法启动
- 配置集群,tasktracker与datanode启动一会儿后,自动消失
- hadoop2.5.2 启动成功后,用jps查看节点:发现少了DataNode
- hdfs启动后datanode闪挂
- 启动datanode后jps下无datanode的解决方法
- ERROR:格式化hdfs后,datanode只启动了一个
- hadoop2.3.0 datanode启动后消失
- 【BUG记录】集群启动后,jps没有datanode,检查发现clusterid一致
- hdfs多次格式化后,datanode启动不了
- 启动hdfs后,一个datanode缺失
- hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
- 电脑开机后过一会就上不了网,怎么回事?
- 配置都对,jps查看datanode没有启动,为什么
- hadoop 使用start-all.sh启动后,用jps找不到namenode和datanode
- hadoop启动后jps查看总是不显示namenode进程,然后重新格式化hdfs
- java常用算法之冒泡排序简单例子
- linux多线程同步
- Java变量和标识符
- 【算法】常用的排序算法之冒泡排序
- 常量后缀学习记录
- 在集群上安装Hadoop1.2.1,并配置好,启动hdfs后使用jps查看datanode,启动后过一会再看就消失了
- 拓展欧几里得算法
- 聊聊效率较高的几种常用排序算法
- Java线程池-线程复用原理(白话篇)
- 欢迎使用CSDN-markdown编辑器
- 一组数据中只有一个数字出现了一次。其他所有数字都是成对出现的,找出这个数字(使用位运算)
- Lights inside 3D Grid LightOJ
- python的基础语法(if,while,for,break,continue 特殊缩进)
- Static--方法与变量