近日,国际安全评测机构AV-C发布反病毒测试成绩,遭到海外安全软件厂商赛门铁克质疑,赛门铁克在其官方博客上发文,谴责这种执行按需扫描恶意软件测试的评测方法,实为对用户的“误导”。
赛门铁克方面表示,在早年间的反病毒测试中,每个测试都是按需扫描。反病毒测试研究人员将收集一系列已知的恶意软件,进行完整的扫描,并记录样本的检测率。而现代实验室更考虑到绝大多数感染来自于互联网,因此努力设计测试方法,以便更接近于真实世界环境下的用户实测。赛门铁克认为,只有用户实测的排名才是有效的,因此并不能完全同意目前的测试方式。
存在漏洞的防护?
赛门铁克公司高级产品总监Alejandro Borgia在博客中明确说道:这种测试中所引用的检测率是对用户的误导,它并不能代表真实的产品功效。Alejandro Borgia表示,“这些类型的测试样本在人造的环境下运行,测试结果并不准确。”
虽然AV-C确保测试过程有接入互联网,赛门铁克能够安装并接入强大的基于云端的诺顿Insight识别系统。但由于测试文件是如何获取的,什么时候获取的,从哪获取的(例如URL或者IP地址),无法了解这些按需扫描的文件和用户实际下载的文件是否相同。如果测试如此,那就跟用户用杀毒软件查杀一个已知的恶意软件一样。Alejandro Borgia总结。
网络安全防护组件也没能帮上忙,因为文件样本是在安装杀毒软件之前下载的。用户可能遇到类似的情况:在已经被病毒感染的系统中首次安装杀毒软件;在被病毒感染的系统中首次使用杀毒软件。当然在杀毒软件真正开始运行前,实际有效的检测根本不会发生。
对此,赛门铁克指出“behavior”包含超出程序所采取的行为。“我们的行为技术考虑到程序的位置,它是如何在系统中注册(例如,哪些注册表项指向它)”,以及许多其他因素。他解释道“一般情况下,程序在它遭受破坏之前已停止运行。”
是否存在误导?
对于赛门铁克方面的质疑,AV-C机构就该测评是否误导用户持否认态度。在该测试报告中指出:“文件检测率只是一个方面”,重点在于“其他的测试报告涵盖了不同方面的内容”。
AV-C合伙人Peter Stelzhammer指出,很明显,这项测试仅针对产品的某一特性,如果文件检测这一功能真的像赛门铁克所说的这么一无是处,那为何还要把这一功能加入到自己的产品中呢?”Stelzhammer评论:个人计算机并非时刻处于联网状态,而文件检测只需要在初始化清存阶段进行。即便如此,“赛门铁克的测试还是在联网状态下进行,以便其云服务实现交互”
他打了个比方给Alejandro Borgia:轿车安全系统测试时,首先做的就是排除安全带以外的其他一切无关因素,如果说该测试完全是错误的,就忽视了这项测试的功绩了。因此,完全错误未免有夸张之嫌。
AV-C:唯真实世界测试结果才有意义?
Borgia在博客中表示,赛门铁克积极拥护用户实测,这种测试“是最能代表威胁所存在的环境并且可以为成品提供所有的前沿技术。”Peter Stelzhammer认为这种观点难以被否定,但是,这种测试极其耗时耗力。Dennis实验室阻塞测试就能说明这一点:Dennis实验室记录了用户实测中病毒进程,然后用在线复演系统在不同软件环境下完全重复系统被感染过程。这实测成果显著,但无疑极其费时。
为挑战杀毒软件,AV-C每天都在相同测试环境下进行用户实测,阻止了千百计恶意软件入侵的企图。他们每个月整理一次数据库,每季度发表一次实测报告。这种测试需要大量劳动力,所以他们需要因斯布鲁克大学及奥地利政府的扶持。
Stelzhammer进一步阐述:“你一定期待赛门铁克在AV-C的帮助下会大放光彩,但不幸的是赛门铁克提出由于AV-C拒绝为供销商提供仅关注用户实测订阅的服务,并且退出文件检测测试的声明,故赛门铁克并不愿加入我们的主要测试环节。然而,事态的发展总是出人意料,即使赛门铁克并未同意,结果却是受与读者及媒体的强烈关注,它还是被AV-C推到了风口浪尖上。”
赛门铁克:反复测试更有效
赛门铁克的博客文章总结道,“我们期待有一天测试机构所发表的测试是用户实测。同时,读者们需要注意一下人工测试展示对于带有误导性的产品的比较。我也一样,会作为一个普通用户去看更多的测试结果,这样更接近用户实测。
考虑到这种情况,如果你为一个没有任何保护的系统购买一个杀毒软件,你会期望它能清理任何的恶意软件,并不会抱怨它的网络防护系统。你可能会根据你的情况,在一个像AV-C一样的测试中选择一个分数高的杀毒软件。
对于正在使用防护软件的你会希望在用户实测下也获得高分。所以在选择产品时,选择在各项测试中都获得高分的,并且在多个实验室进行测试的产品更为稳妥。