今年,在疫情的影响下远程办公成为了“新常态”和新的工作组织模式,这种模式下也使得很多业务开始主动或被动的上云、远程、自动化等等。对于广大的测试工程师来说,这种情况下给测试工作又提出了新的难题,测试设备如何解决?测试环境如何构建?时间紧任务急,如何解决效率的问题?
我们在调研了20名测试工程师之后,发现他们都不约而同的提到了“远程真机”(也称:云真机)这类的服务,我们也针对市面上主流的远程真机服务进行了体验和评测,从多维度为广大测试工程师总结经验,少走弯路。
远程真机是随着移动互联网的兴起而出现的一种服务模式,目前已经较为完善,它是将各种品牌、型号、系统的手机/硬件放在云端,通过远程控制的形式在云端完成真机环境下的测试/调试,远程真机使用方便,减少了开发测试人员设备不足的烦恼,也解决了硬件购置成本、手机型号、系统版本复杂,碎片化严重等问题,极大地降低了购置、运维的费用,也将测试效率有了规模化的提升。并且在疫情环境下,开发测试人员可以在全球任何地点、任何时间提交测试任务和使用远程真机,不受时间和地域的限制,极大的方便了测试工程师的日常工作。
目前市面上主流的远程真机服务商有:Testin云测、腾讯Wetest、百度MTC、TestBird、精灵云测、泽众云等,设备上基本覆盖Android、iOS和鸿蒙等主流设备,通过远程真机可以进行手工测试、代码调试、自动化脚本录制及执行等等,我们和20名测试工程师进行了一场针对“远程真机”的测试,并针对市面上的远程真机从实际使用中的资源、操控、功能、传输、操作便利、报告等维度进行了测评,评测数据的时间点为2022年6月28日,为方便区分,测评图表中绿色标记为最佳;黄色标记为最差;如整体对比好坏各一半,不标记;所有厂商一样,不标记。
1、 远程真机资源方面
资源方面,我们从系统平台、真机数量、各系统版本机型、系统分布四个指标进行体验,我们发现Testin云测在资源方面是六家中最丰富的,拥有1000多台在线的远程真机设备,同时在最新版的iPhone 13系列机型、过往版本的Android和鸿蒙设备上资源是业内最多的。
在真机数量的丰富程度上行业水平线是在线700+台设备,资源丰富程度排名依次是:Testin云测、TestBird、百度MTC、泽众云、精灵云测、腾讯Wetest,第一名Testin云测基本上是最后一名腾讯Wetest的真机数量的2倍左右。在实际使用中真机数量多,可以扩大筛选满足自己测试需求的设备,从而快速定位设备,如果机型量较少,就无法第一时间找到自己想要的设备,从而需要去其他平台寻找或联系客服人员询问资源情况和协调上线。
在 Android、iOS、HarmonyOS版本机型情况上,行业水平线是:Android 9-13每个大版本100台设备在线、iOS拥有最新的iPhone 13系列机型、HarmonyOS设备在线40台。该维度综合排名依次是:Testin云测、百度MTC、TestBird、精灵云测、腾讯Wetest、泽众云。Testin云测基于丰富的真机数量上在系统版本的丰富程度上也是最佳,尤其是在鸿蒙系统的数量上涵盖了所有鸿蒙设备。泽众云虽然在真机数量上处于行业中等水平,但在各系统版本的丰富度上有欠缺。在实际使用中系统版本的支持的范围可以让我们快速定位自己想要测试的设备,进而提高测试效率,如果版本较少,我们就无法精准的测试到对应版本的设备。
系统平台和系统分布维度,各家平台差距不大。但百度MTC有国内、外机型的分类,区分起来比较方便;Testin云测在iOS版本中覆盖率最高,包含了iOS 9-16的各个大版本,在iOS过往版本的测试中更有优势。
2、 远程真机平台使用方面
在远程真机平台使用方面,Testin云测和腾讯Wetest都是表现不错的平台,其他家体验一般。
Testin云测在过滤选择中是唯一一家支持设备上市时间分类的选择条件项,同时在安装包管理中也是唯一一家可实现三入口上传(平台应用包管理、实时上传、安装常用APK)的平台,在实际使用中测试工程师可以根据自己测试需求,选择对应的安装方式,快速进行安装调试,如果安装方式较少,对于不熟悉安装方式的人来说会浪费很多时间了解安装方式。同时安装方式越多,使用起来越便利。
腾讯Wetest是唯一一家设计了页面布局切换按钮的平台,同时腾讯Wetest支持上传安装包大小为3G,在实际使用中我们可以根据自己的喜好切换自己的浏览方式,方便我们在网络不佳的情况下使用列表形式,图表显示可以让我们精准的参考设备的详细参数信息,方便我们选择对应设备使用,而支持上传安装包的大小可以让我们控制打包的大小,方便我们实时上传,如果未能明显体现,在不清楚的情况下,我们需要一个一个适配支持Apk大小,从而浪费很多适配时间,增加了工作量,不能及时处理问题,这会影响我们的上线发版时间。
3、 远程真机使用中的功能方面
在远程真机平台使用方面,Testin云测依旧是各家中表现最优的平台,显示当前网络状态情况和手机调试录像都是独家的功能,同时支持多机联动。在实际使用中我们可以根据界面显示的网络状态定位我们本地网络情况及时调整,从而使调试界面更加流畅,在测试过程中遇到的问题可以通过调试录像记录问题复现的原因,方便我们后续问题定位。多机联动则决定了我们可以通过使用一台手机去控制多台手机,从而节约了测试时间,高效的完成测试工作。
腾讯Wetest和百度MTC均不支持切换清晰度,在实际使用中如果遇到需要适配清晰度的情况,就不满足测试的需求,对于我们视频流畅测试者是不好的体验,另外在调试过程中,界面显示不清晰无法正常观察调试界面,从而增加了工作量。
精灵云测不支持截图功能,在实际使用中我们需要快速截取测试过程中存在的问题,如果未能及时提供截图,需要我们点击设备手动操作,这样无法快速定位到问题,对于偶现的问题如果没有截图功能就很难复现。
精灵云测、泽众云、Testin云测均不支持在手机上调试远程真机,在实际使用中如果已经发布的版本在上线后发现问题,如果支持手机上调试,我们就可以随时随地配合研发人员进行远程调试,从而尽快恢复正常保证客户体验好感。如果不能满足手机调试,需要使用PC设备进行控制,增加了工作量。
4、 远程真机文件传输方面
在远程真机平台使用方面除表现最差的泽众云之外其他各家功能整体一致,百度MTC的iOS端和泽众云不支持图片上传到手机、直接输入URL打开网站、文本输入框直接复制、粘贴文本功能,这在实际使用中不能及时上传测试需要的文件,我们需要通过adb连接开发工具进行上传,对于不会使用工具的测试者来说,增加了上传图片的难度。如果满足文件传输我们可以快速上传到测试设备进行测试。
5、 远程真机操作便利性方面
在远程真机平台便利性方面百度MTC的Android端和Testin云测表现最优,支持功能较多,剩余其他家基本一致。在实际使用中我们可以根据操作者的使用习惯,快速根据提示进入测试,定位跟踪问题,从而快速完成测试,提高测试效率。
6、 数据采集和报告体验方面
在数据采集和报告体验方面TestBird和Testin云测表现最优,功能丰富。腾讯Wetest、百度MTC、精灵云测、泽众云在性能数据手机上基本为空,支持数据采集在实际使用中可以根据性能测试数据获取单个App的性能以及查看设备的参数值,更快速的获取我们需要的数据,提前完成测试任务,获取测试环境信息。
同时在调试记录查询/下载上,腾讯Wetest、百度MTC、精灵云测均不支持该功能,如果支持调试记录查询/下载在实际使用中我们可以根据调试记录更客观的浏览测试数据,根据下载的日志定位问题,从而节约时间处理问题。
最后,我们尝试对这六家远程真机平台的价格进行对比,但发现因为远程真机服务通常会以套餐包的形式进行售卖(量大相应价格越低),这当中部分平台还会有套餐包基础上的折扣价格,每家的档位和计费规则都不尽相同,公示的标准价格在实际使用中还是有出入的,所以价格这部分我们给出了整体评估的结果,不公示详细价格(实际按使用量大小不同可能有出入),价格从低到高依次为:泽众云、精灵云测、TestBird、百度MTC、腾讯 Wetest 、Testin云测。
以上就是我们和20名测试工程师针对国内主流的远程真机平台的使用和调研情况,整体来看在六家远程真机平台中,Testin云测是资源最丰富、功能、体验、便利性方面最佳的平台,腾讯Wetest、百度MTC、TestBird、精灵云测处于行业平均水平,泽众云在很多点上仍有改进的空间,这也从一个侧面反应了整个测试服务商的行业格局和地位。
同时需要说明的是,本次测评我们和20名测试工程师采用的是测试者角度的匿名体验,当中展现的参数和是否支持该功能均来自真实使用环境下以及该平台方的询问回复,同时我们也对使用中功能出现问题的情况进行了标注,评测内容可能存在小幅度的错误,还请指正。
“无需拥有设备,云端即可控制真机,真正还原真实测试环节”这些都是远程真机平台方宣传时所用的描述,但也真实的向广大开发测试工程师展现了远程真机的方便之处,尤其是在疫情常态化的当下,远程真机的需求又得到了进一步扩大,我们希望可以通过这样的横向评测可以给到大家挑选、选择远程真机平台一些建议和参考,仅此而已。
