datastage实现数据增量抽取方案
来源:互联网 发布:python 高斯函数 编辑:程序博客网 时间:2024/06/02 22:45
实现方案
- 数据量相对比较小,100W级别以下。
根据日调度,实现前后两天通过文件对比,获取相应增量数据。
弊端:因为ODS 系统一般是多层存储,需要保证每次日调度执行成功,否则会丢数据。 数据量相对比较大,100W级别以上。
一般业务系统会有自增长ID 列,我们会选择获取增量的时候,增加限制条件,比如SELECT * FROM TABLE_NAME WHERE ID>MAX(ID)
其中MAX(ID) 为上一次,最大ID值,在利用可以放到一个临时表。a)在调度时获取maxid.Txt 的数据
b)在利用Sequence 调度 各层之后,最后触发该作业获取最大ID 存储到maxid.Txt文件中。
1 0
- datastage实现数据增量抽取方案
- ETL增量抽取方案
- ETL增量抽取方案
- Oracle BI基础之ETL数据增量抽取方案
- Kettle数据抽取---增量抽取
- ssis数据增量抽取
- 数据增量抽取
- kettle增量抽取数据
- ETL系统增量抽取方案
- Datastage 从资料库抽取监控数据
- 利用INFORMATICA实现增量数据的抽取与加载
- 关于数据增量抽取的模拟实现——原理
- 大数据增量同步实现方案
- 抽取增量数据算法说明
- 什么是数据抽取 --全量抽取、增量抽取
- 关于数据增量抽取的模拟实现——脚本实现
- ETL中的数据增量抽取机制研究
- SSIS探索之SSIS增量抽取数据
- JAXB入门教程
- 线性表的基础知识
- 线程编程练习
- 合并两个排序的链表
- Python基础学习之基本数据结构Dict
- datastage实现数据增量抽取方案
- scanf输入密码
- markdown 编辑器的使用 CSDN
- JavaScript高级程序设计读书笔记(持续更新)
- datetimepicker常用方法
- 掌握VS2010调试 -- 入门指南
- zurmo(2)-自定义模块(2)-易忘点
- Android常用整理
- 145. Binary Tree Postorder Traversal[hard]