使用Oracle和服务器内存，数据处理效率对比

 

在编写聚合点数据处理过程中，得到如下数据：

方式类型为：

A：临时表为公共数据库表，不停的插入删除临时表，获取分析数据，数据每完成一条，写入一次

B：临时表为处理服务器内存中的DataTable结构，数据写入采用buffer方式，每个比例尺写入一次

C：每个图层创建一个临时表，生成的数据采用buffer方式保存，不使用事务机制

 

持续时间

数据量

数据生成点

方式类型

3:58

3978

1530

A

0:22

3978

2158

B

0:34

3978

2160

C

44:17

35607

20654

A

36:49

35607

27078

B

9:39

35607

27066

C

1:05:46

215492

21453

A

8:33:20

215492

39479

B

0:35:56

215492

39447

C

 

说明：B、C是的聚合范围为3厘米，A为5厘米，所以会有出入。选取起始点是随机的，所以B、C的生成点会不一样。

结论：

1、通过观察、分析以上数据，可以知道使用DataTable对于小数据量（千级）的数据查询是很快的，万级效率就一般了，而到了十万级别效率就非常低了。

2、Oracle数据库在无索引的全表遍历上的效率在千级数据上没有什么优势，但是万级以上，他在这里的优化，效率就显而易见了。

3、比较郁闷的是，这种使用数据库实体表做临时表的方法，显然不是最好的，可是目前想不到更好的解决方案，而且，频繁的对数据库进行建表、删表、插入、删除操作，对数据库的效率影响很大。