hadoop上最多到底能放多少个文件?

来源:互联网 发布:淘宝托福视频 编辑:程序博客网 时间:2024/06/08 16:09

这主要取决于NameNode的内存。因为DFS集群运行时,文件结构会保存在NameNode的内存当中。DFS每个文件信息和 块信息大约都要占150字节。所以如果复制因子为1,每个文件占一个block,  那么16G内存可以存 16 * (2^30) / 300 = 57 m , 即5.7 千万 个文件。



转自:http://coderplay.iteye.com/blog/326981

0 0
原创粉丝点击