Rational Performance Tester与LoadRunner测试结果比对报告
2006-07-28 09:09
274 查看
Rational Performance Tester与LoadRunner测试结果比对报告
[align=center]Judy Shen[/align]
为了对比Rational Performance Tester与LoadRunner的测试效果,我对XX系统的登录和A流程这两个测试点,分别用Rational Performance Tester和LoadRunner进行脚本录制,并进行测试执行。下面将二者的测试结果和使用方面进行对比。
模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行,循环1次。
以下测试结果是在没有工作流数据的前提下进行测试得到的。
测试结果中记录的平均响应时间是包括下载资源(如图片)的时间。
在系统中没有待处理流程的前提下,模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行,循环1次。
每次执行A流程前,都将数据库的工作流数据清空。
[align=center]Judy Shen[/align]
为了对比Rational Performance Tester与LoadRunner的测试效果,我对XX系统的登录和A流程这两个测试点,分别用Rational Performance Tester和LoadRunner进行脚本录制,并进行测试执行。下面将二者的测试结果和使用方面进行对比。
1 测试结果对比
注:因为Rational Performance Tester试用版只有5个用户许可证,所以下面的并发用户数以5个为上限。1.1 登录
测试场景:模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行,循环1次。
以下测试结果是在没有工作流数据的前提下进行测试得到的。
测试结果中记录的平均响应时间是包括下载资源(如图片)的时间。
[align=center]并发用户数[/align] | [align=center]平均响应时间(秒)[/align] | |
[align=center]LoadRunner[/align] | [align=center]Rational Performance Tester[/align] | |
1 | 4.8 | 2.4 |
3 | 4.8 | 3.1 |
5 | 5.6 | 5.6 |
1.2 A流程
测试场景:在系统中没有待处理流程的前提下,模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行,循环1次。
每次执行A流程前,都将数据库的工作流数据清空。
[align=center]并发用户数[/align] | [align=center]平均响应时间(秒)[/align] | |
[align=center]LoadRunner[/align] | [align=center]Rational Performance Tester[/align] | |
1 | 0.8 | 1.1 |
3 | 1.1 | 1.5 |
5 | 1.7 | 2.6 |
2 使用对比
[align=center]对比项[/align] | [align=center]LoadRunner[/align] | [align=center]Rational Performance Tester[/align] |
界面友好性 | 纯英文界面 | 中文界面,系统基于Eclipse平台,界面易于理解。 |
资源占用情况 | 进程占用50M以内的虚拟内存 | 进程占用的虚拟内存随着测试运行的延续而增加,占用的虚拟内存维持在100M-400M。 |
测试录制过程 | 可在录制过程中添加集合点、事务等操作。 登录、退出等只操作一次的部分可放在不同部分(vuser_init,vuser_end)。 | 在录制过程中不能进行添加事务等操作。 系统没有集合点的概念。 登录退出等只操作一次的步骤和迭代循环的部分录制在一起。 |
测试执行过程 | 执行过程中的性能情况可以通过监控界面看到,且信息直观。 执行过程中能看到具体步骤的性能数据,步骤是按照函数来分的。 执行速度稳定,不同次数执行测试所需的时间差距不大。 | 执行过程中可以通过不同的Tab页面查看性能数据。 执行过程中可以看到阶段的性能数据。阶段划分颗粒较大,是按照HTTP页来划分的。 执行过程不稳定,时快时慢。 |
测试执行结果 | 相对较稳定,正常情况下几次执行的测试数据偏差不大。 | 执行结果的数据差距比较大。 |
下载资源所需响应时间的隔离 | 较麻烦 | 可以通过创建事务的方法来区分提交请求与下载资源的所需时间。 |
事务的定位 | 容易 | 事务准确定位比较不方便,需要对系统有一定的熟悉才能准确定位。如果定位不准确,会导致测试结果有较大偏差。 |
对客户端要求 | 较低 | 较高。现有笔记本配置,随着执行时间的延长,机器会运行越来越慢。必须重启RPT方可继续执行测试。 |
3 小结
对比上述Rational Performance Tester和LoadRunner的测试数据,差距不是很大。但是由于Rational Performance Tester的事务设置不如LoadRunner直观和易于操作,事务的定位对测试结果的准确性影响很大。例如:5个用户发起A流程时,如果事务没有设置好,得到的平均响应时间是14.2秒;经过重定位得到的平均响应时间是2.6秒。另外,测试时,资源耗费较大,对测试客户机也是一个挑战。相关文章推荐
- Rational Performance Tester与LoadRunner测试结果比对报告
- Rational Performance Tester与LoadRunner测试结果比对报告
- LoadRunner压力测试:测试报告结果分析
- IBM Rational Performance Tester 和 HP Mercury LoadRunner 的比较
- IBM Rational Performance Tester 和 HP Mercury LoadRunner 的比较
- 如何用 Rational Performance Tester 进行性能测试分析
- LoadRunner性能测试结果分析
- 软件测试结果分析和质量报告
- jmeter非GUI模式下测试结果转化为测试报告的输出
- 使用 IBM Rational Tester for SOA Quality 在 Web 服务测试中添加元素和验证点 developerWorks
- 使用apache ab对nginx+varnish+tomcat进行压力测试的结果报告
- 使用 IBM Rational Functional Tester测试 Windows 应用程序: 如何构建结构良好的测试框架
- LoadRunner测试结果分析01 转载至zhangzhe的新浪博客
- LoadRunner性能测试结果分析
- LoadRunner性能测试关注指标及结果分析
- LoadRunner测试结果中的吞吐量相关知识
- 在稳定性测试中,将测试结果持续填加进入html报告
- MySQL Cluster初步测试结果汇总图示报告 --> 用mysqlslap与sysbench进行测试
- MySQL Cluster初步测试结果汇总图示报告 --> 用mysqlslap与sysbench进行测试
- TestNG入门教程(TestNG介绍、在Eclipse中安装TESTNG、测试小例子、基本注解、如何执行测试、按顺序执行Case、异常测试、组合测试、参数化测试、忽略测试、依赖测试、测试结果报告)