《hadoop 权威指南》 读书笔记
来源:互联网 发布:游戏动画软件 编辑:程序博客网 时间:2024/06/10 03:03
HDFS 对写入的数据计算校验和
datanode 管线的最后一个datanode 负责验证校验和
客户端在读取datanode的时候也会验证校验和
Hadoop的LocalFilesystem执行客户端校验和验证
LocalFileSystem通过ChecksumFileSystem来完成自己的任务
FileSystem rawFs =...
FileSystem checksummedFs = new ChecksumFileSystem(rawFs);
压缩 解压缩 在Hadoop中 一个compressionCodec接口的实现代表一个codec codec实现一种压缩-解压缩算法
序列化是将结构化对像转化为字节流,以便在网络上传输或者写到磁盘进行永久性存储,反序列化是指将字节流装回结构化对象的逆过程。序列化在分布式数据处理的进程通信和永久存储中用到。
Hadoop的序列化格式是Writable,它格式紧凑,速度快。
Writable接口定义了两个方法,一个将其状态写到DataOutput二进制流,另一个从DataInput二进制流读取其状态:
package org.apache.hadoop.ioimport java.io.DataOutputimport java.io.DataInputimport java.io.IOExceptionpublic interface Writable{void write(DataOutput out) throws IOException;void readFields(DataInput in) throws IOException;}
- 《hadoop 权威指南》 读书笔记
- 《hadoop 权威指南》 读书笔记
- Hadoop权威指南-读书笔记
- Hadoop权威指南读书笔记
- Hadoop权威指南读书笔记(更新中)
- hadoop 权威指南 2、3章读书笔记
- Hadoop权威指南读书笔记(第三章Hadoop分布式文件系统)
- Hadoop权威指南读书笔记(3) - Hadoop I/O
- Hadoop权威指南读书笔记(1) - MapReduce和HDFS简介
- Hadoop权威指南读书笔记(5) - MapReducer工作过程
- Hadoop权威指南(第4版)-OReilly 2016 读书笔记
- 《JavaScript权威指南》读书笔记
- javascript权威指南读书笔记
- 《Tomcat权威指南》读书笔记
- 《HTTP权威指南》读书笔记
- Ant权威指南-读书笔记
- http权威指南读书笔记
- HTTP权威指南读书笔记
- MySQL多表连接查询Left Join,Right Join
- 条件编译
- zoj1292大整数加法
- 黑马程序员------网络编程复习笔记
- [hibernate异常]org.hibernate.PersistentObjectException: detached entity passed to persist异常
- 《hadoop 权威指南》 读书笔记
- 很诡异的hibernate
- 每天写出好代码的5个建议
- 子域 根域 Cookie的写入与清除
- delphi时间日期处理DateUtils时间单元
- 为抢地盘视频网站杀红眼 差异化是生存之道
- 字符串处理函数源码
- rdlc reportviewer vs2010报表 实现导出和web页面显示每页都带表头
- jqGrid asp.net mvc 使用