Hive格式各种格式下不同压缩算法的比较
来源:互联网 发布:编程培训周末班 编辑:程序博客网 时间:2024/06/03 01:52
原始Text格式的hive分区大小为119.2G。
压缩算法
Text格式
Parquet格式
ORC
RCFile
不压缩
119.2G
54.1G
20.0G
98G
Snappy压缩
30.2 G
23.6
13.6
27.0G
Gzip压缩
18.8 G
14.1 G
不支持
15.2G
ZLIB压缩
不支持
不支持
10.1G
不支持
注意:我们集群现在hive设置默认snappy压缩,而parquet的压缩格式设置为parquet.compression=snappy,以前setmapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec不起作用。
Orc的压缩格式设置方法为:orc.compress=SNAPPY,默认为ZLIB.
1 0
- Hive格式各种格式下不同压缩算法的比较
- 各种压缩格式比较
- linux 下各种压缩格式的解压和压缩
- linux 下各种格式的解压 压缩命令
- 各种视频压缩格式的比较
- 各种编码格式的比较
- Hive压缩格式
- HIVE 之压缩格式
- hive压缩格式
- 创建GZIP压缩格式的HIVE表
- 创建GZIP压缩格式的HIVE表
- 各种压缩算法的比较
- hive中的支持的存储格式和压缩格式
- HIVE文件存储格式的测试比较
- HIVE文件存储格式的测试比较
- HIVE文件存储格式的测试比较
- hive转比较特殊的日期格式
- Hive文件存储格式的测试比较
- 10-认识与学习BASH
- 12-学习Shell-Scripts
- Java语言基础-查找算法-二分法查找
- 命令行查看环境变量
- 16-进程管理
- Hive格式各种格式下不同压缩算法的比较
- SQL常用的内置函数
- cocoapods repo切换至镜像
- Spark学习笔记
- ZStack 修改云主机模板
- MappingJackson2HttpMessageConverter配置导致声明式事务不启动
- 21-软件安装-原始码与Tarball
- java Stack类使用
- SFTP搭建