大数据(二) - HDFS
来源:互联网 发布:Windows x86-64与x86 编辑:程序博客网 时间:2024/06/11 18:41
HDFS优点
高容错性
数据自动保存多个副本
副本丢失后,自动恢复
适合批处理
移动计算而非数据
数据位置暴露给计算框架
适合大数据处理
GB、TB、甚至PB级数据
百万规模以上的文件数量
10K+节点规模
流式文件访问
一次性写入,多次读取
保证数据一致性
可构建在廉价机器上
通过多副本提高可靠性
提供了容错和恢复机制
HDFS缺点,不适合以下操作方式:
低延迟数据访问
比如毫秒级
低延迟与高吞吐率
小文件存取
占用NameNode大量内存
寻道时间超过读取时间
并发写入、文件随机修改
一个文件只能有一个写者
仅支持append
HDFS不适合存储小文件
元信息存储在NameNode内存中
一个节点的内存是有限的
存取大量小文件消耗大量的寻道时间
类比拷贝大量小文件与拷贝同等大小的一个大文件
NameNode存储block数目是有限的
一个block元信息消耗大约150 byte内存
存储1亿个block,大约需要20GB内存
如果一个文件大小为10K,则1亿个文件大小仅为1TB(但要消耗掉NameNode 20GB内存)
HDFS架构
HDFS使用典型的master-slave结构
HDFS设计思想
hdfs架构
Active Namenode:主Master(只有一个)
管理HDFS的名称空间
管理数据块映射信息
配置副本策略
处理客户端读写请求
Standby Namenode:NameNode的热备;
定期合并fsimage和fsedits,推送给NameNode;
当Active NameNode出现故障时,快速切换为新的 Active NameNode。
Datanode:Slave(有多个)
存储实际的数据块
执行数据块读/写
Client:文件切分
与NameNode交互,获取文件位置信息;
与DataNode交互,读取或者写入数据;
管理HDFS;
访问HDFS。
HDFS数据块(block)
文件被切分成固定大小的数据块
默认数据块大小为64MB,可配置
若文件大小不到64MB,则单独存成一个block
为何数据块如此之大
数据传输时间超过寻道时间(高吞吐率)
一个文件存储方式
按大小被切分成若干个block,存储到不同节点上
默认情况下每个block有三个副本
HDFS写流程
HDFS读流程
HDFS典型的物理拓扑结构
HDFS Block副本放置策略
副本1: 同Client的节点上
副本2: 不同机架中的节点上
副本3: 与第二个副本同一机架的另一个节点上
其他副本:随机挑选
HDFS访问方式
HDFSShell命令 :和linux命令很像
HDFS Java API :org.apache.hadoop.fs,很简单
HDFS REST API
HDFS Fuse:实现了fuse协议
HDFS lib hdfs:C/C++访问接口
HDFS 其他语言编程API
使用thrift实现
支持C++、Python、php、C#等语言
HDFS2.0新特性(还没有完全实现,谨慎使用):
NameNode HA
NameNode Federation
HDFS 快照(snapshot)
HDFS 缓存(in-memory cache)
HDFS ACL
异构层级存储结构(Heterogeneous Storage hierarchy)
0 0
- 大数据(二) - HDFS
- 大数据之HDFS
- 大数据学习篇:hadoop深入浅出系列之HDFS(二)——HDFS体系结构
- 大数据之hadoop【hdfs】
- 大数据技术hadoop入门理论系列之二—HDFS架构简介
- 大数据学习笔记之二十六 HDFS Hadoop File System
- 大数据-有关hdfs的学习
- 大数据之HDFS构架原理
- (大数据分析-1)HDFS Review
- [大数据]本地文件拷贝到hdfs
- 大数据之hdfs(1)
- 大数据读hdfs文件笔记
- 大数据系列之Flume+HDFS
- 大数据层--HDFS基本操作
- 大数据 (六)Hadoop-HDFS Federation
- 大数据Hadoop之HDFS和MapReduce_02_01
- 大数据从0到一(HDFS)
- 大数据(二)
- 第六章 聚合函数与分组
- UltraEdit的正版激活过程
- CodeForces 615A Bulbs
- Ubuntu 14.04 VNC服务端和客户端配置
- hadoop基础:第二部分 关于MapReduce
- 大数据(二) - HDFS
- Android中Okhttp和SPDY协议
- 用c语言求出1加到100的和
- wireshark
- 西部数码服务器一些配置
- 监听器(Listener)二
- 绩效/加薪/年终奖,虐你如初恋
- 如何在真机上调试Android应用程序(图文详解)
- Spring MVC 测试 | 模拟提交表单