大容量数据排序
来源:互联网 发布:access数据库怎么查询 编辑:程序博客网 时间:2024/06/10 03:52
大容量数据排序
2011-10-03 17:33:44| 分类:简单数据结构及算 |字号 订阅
大容量数据样本,由于其数据过大,无法在内存中一次完成对其排序。通常需要利用外部排序和其他行之有效的方法。
1、位图算法:位图算法的限制是排序数不要太大(最好不超过10M);数据无重复(或者找出现2次的数);
如对一千万个无重复整型数据进行排序,如利用一个int来保存一个数据,则需要10^7 * 32位(约300M)的空间,显然在栈上申请如此大的空间将造成极大的空间浪费;若改用1个位来表示该数是否存在,则最多仅需要10^7的空间。
举一个很简单的例子,帮助理解位图算法:如对1~32个数进行排序,则用一个整型来存储;遍历数据,把数字存入对应的位置(1存入第一位);然后测试各位,如为1:则输出该数。代码如下(编程珠玑):
#define BITSPERWORD 32
#deinfe SHIFT 5
#define MASK 0x1F
#define N 10000000
int a[ 1+ N/BITSPERWORD]
bool setBit(int i) { a[i >> SHIFT] |= (1 << (i & MASK)); }
bool testBit(int i) { return a[i >> SHIFT] & (1<< (i & MASK)); }
bool clrBit(int i) { a[i >> SHIFT] &= ~(1 << (i & MASK)); }
利用上述三个函数,首先clrBit()初始化,然后
若需要处理文件出现次数,可以多个bit 位表示一个数字进而利用位图算法来处理;详细可参考http://blog.csdn.net/clearriver/article/details/4361941
2、大容量数据排序思路:
一般大文件排序的思想就是:hash(hash函数的设计是关键) + 分治
例1:简单hash:
若文件中数据分布较均匀(这里均匀的意思是在某个数据段的数据不会超过内存限制。如4G个int元素,全部集中在低10000的范围内,该方法失效)
思路如下:把4G文件中的数据分成内存可容纳的N个部分,在某个数据段内的(比如0~25000)放到一个文件中,形成N个文件;然后各自排序;在把N个文件从小到大输出到一个文件中。
例2:找某个单次出现的次数
利用hash_map,合理的设置hash函数(例如example = ('e' - 'a')*7*2^N + ('x' - 'a')*6*2^N + ...);把整个文件散列到不同的容- 大容量数据排序
- mysql 导入大容量数据
- Php+mysql处理大容量数据存储,
- C语言中大容量数据操作
- Php+mysql处理大容量数据存储
- J2me RMS存储大容量数据
- J2me RMS存储大容量数据 源码
- 将大容量数据插入DB
- 大容量数据分页显示的探索
- Php+mysql处理大容量数据存储
- sqlserver导大容量数据到oracle
- 根据"|",大容量插入数据
- FPGA与SRAM相结合完成大容量数据存储
- Form域中用Post提交容量大的数据
- 基于ARM的嵌入式大容量数据存储解决方案
- 模拟表单向domino post大容量的数据
- Windows Mobile中使用ListControl显示大容量数据
- Form域中用Post提交容量大的数据
- Qt编程核心技术-5
- typedef struct 用法详解
- 世界的开始
- 《计算机组成与设计》part3
- SOAP: Uncaught SoapFault exception以及 XML error parsing WSDL from
- 大容量数据排序
- 我们的资源和优势是什么——我们的优势是什么
- 为程序员准备的7个国外社交网站
- 随笔:给定一个日期:yyyy-mm-dd,求出给定日期的下一天日期并输出
- Android Ndk(Beginner ‘s guide)(1.2)
- 深入浅出Win32多线程程序设计之线程通信
- HDU 2993 MAX Average Problem(斜率优化DP)
- [ php ] php初步!
- 堆 、堆栈 简单理解