hive 大数据 除重问题研究
来源:互联网 发布:淘宝刻了章会被发现吗 编辑:程序博客网 时间:2024/06/10 01:06
存量表: store
增量表: incre
字段:
1. p_key 除重主键
2. w_sort 排序依据
3. info 其他信息
方法一(union all + row_number()over ):
insert overwrite table limao_store
select p_key,sort_word
from ( select tmp1.*, row_number() over(distribute by sort_word sort by p_key desc) rownum
from ( select *
from limao_store
union all
select *
from limao_incre
) tmp1
) hh
where hh.rownum = 1;
分析, 长表排序
方法二(left outer join + union all):
注意: hive 不支持 顶层 union all ,而且union all 结果必须有别名
insert overwrite table limao_store
select t.p_key,t.sort_word from (
select s.p_key,s.sort_word from limao_store s left outer join limao_incre i on(s.p_key=i.p_key) where i.p_key=null
union all
select p_key,sort_word from limao_incre);
分析: 不能识别 incre中的重复数据 长表关联 , 表宽度加倍
方法三(left outer join + insert into)
insert overwrite table store
select s.* from store s left outer join incre i on(s.p_key=i.p_key) where i.p_key=null
insert into table jm_g_l_cust_secu_acct
select * from jm_g_l_cust_secu_acct_tmp;
分析: insert into 最好不用。 使用insert into 在hdfs中的表现为,在表(分区)文件夹下,建立新的文件
存放insert into数据, 造成文件碎片,降低以后该表查询效率。
==================================================================================
use nets_life;
create table limao_store
(
p_key string,
sort_word string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;
create table limao_incre
(
p_key string,
sort_word string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;
建表语句
use nets_life;
create table limao_store
(
p_key string,
sort_word string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;
create table limao_incre
(
p_key string,
sort_word string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;
=====================================================
================================================================================================
总结: 方法二和方法三原理相同。 方法三建议避免
方法二、方法三 暗含逻辑:
1.增量同步数据(incre)和存量数据(store)冲突时,总是认为增量数据为最新的
2.无论增量数据表 还是 存量数据表, 表内没有重复字段
方法一, 不暗含上述逻辑。 全部合并,严格按排序字段排名取第一
一千万数据 store 和 一百万数据 incre 测试结果
方法一: Time taken: 317.677 seconds
方法二: Time taken: 106.032 seconds
总结: 方法二时间使用上大幅度少于方法一,但没有内部除重功能,只能用于比较除重。
==============================================
- hive 大数据 除重问题研究
- Hive 典型的中表内数据除重写法
- hive 去重数据
- Hive数据去重
- Hive数据去重
- 大数据排序 去重相关问题
- 大数据(九) - Hive
- 大数据- Hive
- Hive典型表内除重的写法
- 【大数据】大数据排序或取重或去重相关问题
- Hive表数据去重
- 大数据去重
- (大数据之hive)hive安装
- [hive]hive大数据倾斜总结
- 大数据(十七)Hive【Hive介绍】
- hive大数据倾斜总结
- hive大数据倾斜总结
- hive大数据倾斜总结
- Hello,JavaEye!
- 一键设置JDK环境变量
- Eclipse安装插件的两种方法
- Eclipse常用设置
- WeakHashMap实现类
- hive 大数据 除重问题研究
- 当mmap遇到sigbus
- 二分实现插排
- exe4j——打包java程序成exe
- string,CString,char之间的转化
- java编译好的class文件如何在jsp页面中调用
- 面试经验
- MyEclipse8下struts2开发例程及解析
- win7如何下启动telnet