欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

monkey-制定monkey的测试制度及标准(仅供参考)

程序员文章站 2022-04-15 18:05:37
测试目的:看程序使用过程中是否会出现异常,检测高强度下使用app程序的稳定性和容错性能。测试时间:新版本发灰度之前,将需要覆盖的4款机型,按照以下规定的条件,全部测完至少一轮。通过标准:所有被测机型的log中没有抛出任何异常则可以通过稳定性测试。问题排查:通过查看关键字或将日志分类,排查log日志中是否有异常,如果有异常则需要定位异常log的问题类型和问题性质,然后将和异常有关的log全部复制到bug管理工具,提交给开发人员。跟踪处理:已经提交到bug管理工具的bug,需要在开发人员解决后,...

测试目的:看程序使用过程中是否会出现异常,检测高强度下使用app程序的稳定性和容错性能。

测试时间:新版本发灰度之前,将需要覆盖的4款机型,按照以下规定的条件,全部测完至少一轮。

通过标准:所有被测机型的log中没有抛出任何异常则可以通过稳定性测试。

问题排查:通过查看关键字或将日志分类,排查log日志中是否有异常,如果有异常则需要定位异常log的问题类型和问题性质,然后将和异常有关的log全部复制到bug管理工具,提交给开发人员。

跟踪处理:已经提交到bug管理工具的bug,需要在开发人员解决后,使用相同的send值再测一次,不再复现才可以关闭bug。如果再次复现,需重新打开bug继续解决。

在每个新版本发布前,将需要覆盖的4款机型,按照以下规定的条件,全部测完至少一轮,log中没有出现异常则可以通过稳定性测试。如有log异常抛出,则需要在开发人员解决后,使用相同的send值再测一次,bug不再复现才可以通过。如果再次复现,则不通过稳定性测试,需重新打开bug继续解决。

一:需覆盖的测试场景:

1、需覆盖机型:oppo vivo 华为 小米(这是宝玩app的用户量前4名的手机品牌,且这4家的手机系统都是基于安卓系统来深度定制开发的,差异较大,也是市场主流的4大安卓操作系统。)

2、根据需要填充memory到80%(考虑到有些用户的手机运行内存较小,有的手机运存一共才有1g或2g,实际可用的内存只有很少一部分,所以测试时将手机运存填充到80%,这样更能模拟用户的使用场景,也更容易发现一些因为内存不足导致的bug。)

3、覆盖android系统:4、5、6、7(目前主流的安卓系统,也是宝玩app支持兼容的安卓版本。)

4、发送事件的间隔时间最小达到360毫秒即可(1000毫秒=1秒,此间隔大约是每秒内发送3次随机事件,该时间是模拟了普通用户使用app的最快速度。)

5、每种机型发送事件次数不低于500000次,若没有异常抛出,则通过测试。(一般选择在晚上测试,可以几台测试机同时跑)

二:必须覆盖的事件类型(根据宝玩app的平台特性,总结出以下6种必须覆盖的事件类型,这6种事件类型都是用户使用app时可能出现的。):

1、触摸事件(触摸事件是一个down-up事件,它发生在屏幕的某单一位置)

2、动作事件(由屏幕上某处的一个donw事件、一系列的伪随机事件和一个up事件组成)

3、屏幕旋转事件(横屏和竖屏)

4、主要导航事件(这些导航事件通常引发图形界面的动作,如5-way键盘的中间按键、回退键、菜单键)

5、系统导航事件(这些按键通常都被保留,由系统使用,如home、back、start call、end call、音量键)

6、启动Activity事件(在随机时间里,通过startActivity方法最大限度的开启该package下的 全部Activity的一种方法)

三:必须解决的bug类型:

1、Exception异常的bug:如(内存溢出、数据异常、类不存在、类型转换出错、数学运算异常、方法参数异常、文件未找到、数值转换异常)

2、anr异常:如(空指针、超时、线程占用)

3、应用程序发生许可错误:如(证书许可、网络许可)

四:以下错误根据实际情况可以不解决:

1、手机系统本地代码造成的bug,且不影响用户使用。

2、非java层的错误,android底层代码出现的bug(如调用c语言的一些库),且不影响用户使用。

 

本文地址:https://blog.csdn.net/qq_40308101/article/details/108852446

相关标签: monkey app性能