关于大数据测试方面的收集

ETL

E（extract）,T(transform),L(load)

来源端 –data——目标端

data来源端—a— HDFS（file） —b— mapreduce —-c—- ETL—d— database/Hive—e—报表工具（分析报告）

可以使用相关工具进行informatica

测试的方面

抽取符合条件的数据总量

报表字段类型转换

特殊值

造数测试（sql过滤条件）（业务场景）

对比测试（开发与测试报表）

语法错误

拉报表时间

大批量诗句拉取性能

shell 脚本

database – hive – database

Linux命令 shell hivesql hdfs（路径）

验证开发输出的脚本

命名，内容 ， 函数 ，log， 异常的check

建表语句

导入导出的数据总量和shell 运行时间

database— hive 数据类型的转换

历史数据量

sql优化

大数据功能测试主要用以识别

由于编码错误或节点配置错误带来的数据问题。

数据导入阶段

不正确不复制存储导致错误数据

输入文件与源文件对比，一致性

根据数据需求来保证data的准确性

文件加载进HDFS正确被分割且复制到不同的数据节点

mapreduce data export check

data — HDFS mapreduce对数据进行处理，可能有编码问题，或者单节点正确 多节点出现问题eg 聚合，节点配置 ，格式 不正确

测试验证：

单节点验证基本全部业务逻辑，然后多节点进行

mapreduce中key value 是否生产正确

reduce后看数据聚集合并

源文件验证数据处理

C:转换的规则不正确

数据不完整

性能测试

吞吐量，任务完工时间，内存利用率等多个指标，可反应大数据分析平台的处理能力，资源利用能力等性能，Hadoop性能监控器

容错

可从部分失效中自动恢复，而且不会验证的影响整体性能，特别地，当故障发生时，大数据分析系统应该在进行恢复的同时继续以可接受的方式进行操作，在发生错误时某种程度上可以继续操作，需根据应用场景来设计解决方案和具体部署，然后手动测试

可用

拓展

测试系统弹性扩展能力(扩展/回缩)及扩展系统带来

的性能影响，验证是否具有线性扩展能力,以手动测试为主.

稳定

系统在长时间允许下，系统

是否仍然能够正常运行，功能是否正常.稳定性测试通常采用自动化方式进行，LTP，10ZONE，POSTMARK,FIO等工具对测试系统产生

负载

部署方式

自动安装配置 集群规模 硬件配置 自动负载均衡

数据一致

file system 与写入前的data 一致，可编写脚本自动化或者LTP工具

压力：

系统大压力（多客户端，高ops压力，高IOPS/吞吐量）

验证功能是否正常 ，系统资源消耗情况