大数据测试 VS 传统数据库测试 & 测试环境需求

大数据测试 VS 传统数据库测试

类型

传统数据库测试

大数据测试

数据

结构化数据

结构化数据和非结构化数据

测试方法是明确定义和时间测试

测试方法需要集中的研发工作(R&D efforts)

测试人员可以选择“Sampling”策略进行手动或可以选择“Exhaustive Verification”策略进行自动化测试

"Sampling"策略在大数据测试有很大的挑战

基础设施

不需要特殊的测试环境，因为文件大小有限

需要特殊的测试环境，因为大数据量和文件（HDFS）

验证工具

测试程序使用基于Excel的宏或基于UI的自动化工具

没有定义的工具，范围很广从编程工具如MapReduce到HIVEQL

拥有基本的操作知识和较少的培训就可以使用测试工具

需要一套特定的技能和培训来操作测试工具。此外，工具处于新生阶段，随着时间的发展也许会带来新的功能。

测试环境需求

测试环境需求取决于要测试的应用程序的类型。对于大数据测试，测试环境应包括：

1.它应该有足够的空间用于存储和处理大量的数据

2.它应该具有分布式节点和数据的集群

3.它应该具有最低的CPU和内存利用率，以保持性能高

大数据场景使用的工具

大数据集群

大数据工具

NoSQL

CouchDB, MongoDB, Cassandra, Redis, ZooKeeper, Hbase

MapReduce

Hadoop, Hive, Pig, Cascading, Oozie, Kafka, S4, MapR, Flume

Storage

S3, HDFS ( Hadoop Distributed File System)

Servers

Elastic, Heroku, Elastic, Google App Engine, EC2

Processing

R, Yahoo! Pipes, Mechanical Turk, BigSheets, Datameer