hadoop伪分布式下 无法启动datanode的原因及could only be replicated to > 0 nodes, instead of 1的错误
来源:互联网 发布:linux 查询rpm包 编辑:程序博客网 时间:2024/06/10 04:09
目前发现一个原因是 因为datanode无法启动从而导致在hadoop上 put数据 出现 could only be replicated to > 0 nodes, instead of 1的错误。
输入jps发现唯独只有datanode进程没有起来。所以我们要想办法把datanode启动起来。
1.环境描述:
ubuntu11.10
伪分布是hadoop
jdk1.7
2.问题描述:
在hadoop上put数据时 出现could only be replicated to > 0 nodes, instead of 1的 错误提示。
jps命令 没有没看到datanode的进程启动。
3.问题原因:
是由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的namespaceID 不一致,从而导致namenode和 datanode的断连。
(因为在多次format中 有 reformat namenode的提示,多次format中不用已知都选Y 去format namenode的 namespaceID ,这样很容易造成ID不一致的情况)
4.问题解决:
hadoop format 初始化后 先不急着startall, 打开hdfs-site.xml ,找到dfs.name.dir和dfs.data.dir的路径。
将因format更新的 dfs.name.dir/current/VERSION中的namespaceID 更新到 dfs.data.dir/current/VERSION中的namespaceID中去(改的是dfs.data.dir中的ID)
如下:
dfs.name.dir:
#Wed Feb 26 12:33:11 CST 2014namespaceID=125032091cTime=0storageType=NAME_NODElayoutVersion=-32
将dfs.data.dir:
#Wed Feb 26 12:28:05 CST 2014namespaceID=7685963storageID=DS-1033031888-127.0.1.1-50010-1393227629778cTime=0storageType=DATA_NODElayoutVersion=-32
改为:
#Wed Feb 26 12:28:05 CST 2014namespaceID=125032091storageID=DS-1033031888-127.0.1.1-50010-1393227629778cTime=0storageType=DATA_NODElayoutVersion=-32
这样再开始启动startall就行了。
5.总结:
以后在hadoop format过程中 要注意不要频繁地reformat namnode的ID信息。format过程中选择N就是了。
- hadoop伪分布式下 无法启动datanode的原因及could only be replicated to > 0 nodes, instead of 1的错误
- hadoop伪分布式下 无法启动datanode的原因及could only be replicated to > 0 nodes, instead of 1的错误
- hadoop伪分布式系统:could only be replicated to 0 nodes, instead of 1
- hadoop 在windows的Eclipse下运行出现 hadoop)could only be replicated to 0 nodes, instead of 1 异常
- could only be replicated to 0 nodes, instead of 1 错误的解决方法
- hadoop文件系统错误could only be replicated to 0 nodes, instead of 1解决方法
- could only be replicated to 0 nodes, instead of 1
- 往hadoop文件系统上传文件的时候报:could only be replicated to 0 nodes, instead of 1
- “could only be replicated to 0 nodes, instead of 1”的解决办法
- hadoop集群模式下hadoop 上传文件 报错could only be replicated to 0 nodes, instead of 1
- Hadoop报错“could only be replicated to 0 nodes, instead of 1”
- hadoop异常“could only be replicated to 0 nodes, instead of 1” 解决
- Hadoop:File xxx could only be replicated to 0 nodes, instead of 1
- Hadoop配置:file could only be replicated to 0 nodes, instead of 1问题解决方法
- Hadoop报错“could only be replicated to 0 nodes, instead of 1” .
- hadoop could only be replicated to 0 nodes instead of 1 解决方法
- Hadoop put 报异常“could only be replicated to 0 nodes, instead of 1”
- Hadoop上传文件报错 “could only be replicated to 0 nodes, instead of 1”
- hadoop 单机 伪分布式 完全分布式 区别
- media and camera 框架之二: MediaRouter
- 虚拟xp扩充C盘大小的方法
- 我对软件开发的一些感悟
- Android修改文件权限遇到的问题
- hadoop伪分布式下 无法启动datanode的原因及could only be replicated to > 0 nodes, instead of 1的错误
- DataGridView的列宽设置
- Java运算符整理
- 设置DataGridView中的数据居中显示
- 死性不改
- Oracle 学习DBA的日常工作 第二天
- 杂谈,引子,自述,what ever!
- C# dataGridView 列宽设为百分比
- 4个常用的HTTP安全头部