monkey-制定monkey的测试制度及标准(仅供参考)
测试目的:看程序使用过程中是否会出现异常,检测高强度下使用app程序的稳定性和容错性能。
测试时间:新版本发灰度之前,将需要覆盖的4款机型,按照以下规定的条件,全部测完至少一轮。
通过标准:所有被测机型的log中没有抛出任何异常则可以通过稳定性测试。
问题排查:通过查看关键字或将日志分类,排查log日志中是否有异常,如果有异常则需要定位异常log的问题类型和问题性质,然后将和异常有关的log全部复制到bug管理工具,提交给开发人员。
跟踪处理:已经提交到bug管理工具的bug,需要在开发人员解决后,使用相同的send值再测一次,不再复现才可以关闭bug。如果再次复现,需重新打开bug继续解决。
在每个新版本发布前,将需要覆盖的4款机型,按照以下规定的条件,全部测完至少一轮,log中没有出现异常则可以通过稳定性测试。如有log异常抛出,则需要在开发人员解决后,使用相同的send值再测一次,bug不再复现才可以通过。如果再次复现,则不通过稳定性测试,需重新打开bug继续解决。
一:需覆盖的测试场景:
1、需覆盖机型:oppo vivo 华为 小米(这是宝玩app的用户量前4名的手机品牌,且这4家的手机系统都是基于安卓系统来深度定制开发的,差异较大,也是市场主流的4大安卓操作系统。)
2、根据需要填充memory到80%(考虑到有些用户的手机运行内存较小,有的手机运存一共才有1g或2g,实际可用的内存只有很少一部分,所以测试时将手机运存填充到80%,这样更能模拟用户的使用场景,也更容易发现一些因为内存不足导致的bug。)
3、覆盖android系统:4、5、6、7(目前主流的安卓系统,也是宝玩app支持兼容的安卓版本。)
4、发送事件的间隔时间最小达到360毫秒即可(1000毫秒=1秒,此间隔大约是每秒内发送3次随机事件,该时间是模拟了普通用户使用app的最快速度。)
5、每种机型发送事件次数不低于500000次,若没有异常抛出,则通过测试。(一般选择在晚上测试,可以几台测试机同时跑)
二:必须覆盖的事件类型(根据宝玩app的平台特性,总结出以下6种必须覆盖的事件类型,这6种事件类型都是用户使用app时可能出现的。):
1、触摸事件(触摸事件是一个down-up事件,它发生在屏幕的某单一位置)
2、动作事件(由屏幕上某处的一个donw事件、一系列的伪随机事件和一个up事件组成)
3、屏幕旋转事件(横屏和竖屏)
4、主要导航事件(这些导航事件通常引发图形界面的动作,如5-way键盘的中间按键、回退键、菜单键)
5、系统导航事件(这些按键通常都被保留,由系统使用,如home、back、start call、end call、音量键)
6、启动Activity事件(在随机时间里,通过startActivity方法最大限度的开启该package下的 全部Activity的一种方法)
三:必须解决的bug类型:
1、Exception异常的bug:如(内存溢出、数据异常、类不存在、类型转换出错、数学运算异常、方法参数异常、文件未找到、数值转换异常)
2、anr异常:如(空指针、超时、线程占用)
3、应用程序发生许可错误:如(证书许可、网络许可)
四:以下错误根据实际情况可以不解决:
1、手机系统本地代码造成的bug,且不影响用户使用。
2、非java层的错误,android底层代码出现的bug(如调用c语言的一些库),且不影响用户使用。
本文地址:https://blog.csdn.net/qq_40308101/article/details/108852446