DxOMark CTO Frederic Guichard(左)和Sr.VP全球级业务资深副总裁Etienne Knauer(右)
不知从什么时候开始,“不服跑个分”成为手机评测中不可缺少的一环。即便文章中不提及,评论里也会有不少网友追问。在安兔兔等处理器跑分软件大火之后,另一个移动相机评分机构随之而起,那就是随着HUAWEI P20系列手机上市,引发大家热论的DxOMark。
DxOMark是个什么样的机构
事实上,DxOMark并不是近两年才组建的相机评测机构,它拥有近十年的历史。DxOMark成立于2008年11月,起初这家机构做的是单反相机传感器的测试,并在测试之后公布结果。到了2010年,这家机构不再局限于单反相机的传感器,做起了相机感光方面的测试。
直到2012年,DxOMark把移动平台智能手机模块单拉了出来,逐渐形成了我们今天看到的DxOMark Mobile相机排行榜。去年十月,DxOMark推出了中文版网站,主要展示手机拍照的评测结果。
DxOMark中文官网
DxOMark的特点在于除了给出手机拍照的测试结果,还根据这些结果打了个分数,做了一个排行榜。这样一来,DxOMark的性质就向着安兔兔这类跑分软件靠拢了。
为什么那么多人相信跑分?
其实答案很简单,因为直观。数字往往比体验更直观。在一篇评测里,我告诉你手机很流畅,即使打开多个App也不卡,无论《王者荣耀》还是《绝地求生》都能开启满画质,远远不如我说这手机在安兔兔跑分27万更让人心里踏实。更何况这些跑分软件还做了一个得分排行榜,让大家去比较。
DxOMark手机拍照排行榜前五名
所以数字成为很多用户用来衡量手机性能的标准,如今DxOMark的排行榜在手机拍照领域也占据这样的优势。只不过,我们要提出一个疑问,DxOMark如何保证评测手机拍照的公正性?
在华为P20系列发布会前,新浪手机曾和DxOMark的高层进行了一次交流。在那次小型交流会上,DxOMark解释了他们保证公正性的方法。
拍照测试有复测机制
在测试之前,DxOMark需要先拿到评测手机。他们有两种途径,一种是手机厂商送测,另一种则是自主购买。如果新机在发布会上公布DxOMark的得分(像华为P20那样),则是在发布之前就拿到了机器,属于厂商送测。
根据DxOMark Sr.VP全球级业务资深副总裁Etienne Knauer的说法,在拿到手机后,他们会向厂家确认这是测试版还是发布时的版本,手机上市后,他们会随机购买一部进行复测以保证测试结果。
DxOMark曾经碰到过一次商店里购买的手机的测试结果和之前测试的不同,随后他们联系了厂商,发现是因为固件升级的原因导致的。“我觉得不会有哪家手机厂商冒这样的风险给我们提供一台与市面上不一样的手机。”Etienne Knauer说道。
DxOMark如何测试手机
DxOMark进行的拍照测试和跑分软件不同,跑分软件有自己的算法,只要用手机跑上一遍就能得到结果。而DxOMark的拍照测试则由主观和客观两部分组成。将主观因素纳入进来是没有办法的事,因为手机拍出来的照片好与不好必须要由人来判断,纯靠机器是无法完成的。DxOMark强调的是他们在主观测试中采用感知测试的方法,他们认为这种方法是较为科学的。
每一次发布结果前,DxOMark会找来测试之外的工程师进行检查,确保结果不受单个工程师的影响。DxOMark官方的说法是他们对手机拍照的测试一般会经过七天,拍摄1500多张照片,录像超过两个小时。这其中还包括用专业软件进行测试。
DxOMark始终强调每一次手机测试的流程完全一样,甚至他们表示大家可以不认同他们的评测方法,但是有一点无可争议——对于每一款手机他们都采用同样的方法测试。这样做无疑是为了保证他们的排行榜真实有效。
排行榜上的分数是这么来的
整个测试流程走完一遍之后,DxOMark就开始综合手机每一项的得分,然后计算出最终的综合得分。事实上,DxOMark的测试流程基本上都是公开的,唯独在最后计算总分时的方法和权重是保密的。DxOMark解释之所以把曝光、对比度、饱和度等等小属性的成绩综合到一起,是因为他们认为有时一部手机大多数指标看起来的不错,唯独某一项出现问题时,最终的表现就可能不好。
DxOMark表示,他们设计的评分体系会尽可能贴近消费者感知的成像质量。换句话说,他们希望把照片拍得好不好这样一个感性的东西数字化。在这个过程中,他们更看重照片最终的成像质量,而不是照片是如何来的,用了多牛的技术。
所以说,计算综合得分的方法是DxOMark的核心竞争力。简单来说,手机拍照的每一项比如曝光、饱和度等等,我可以测,你也可以测,但是最后把这些小项的测试结果综合起来的能力只有我具备,并且DxOMark会让这个成绩看上去和用户体会到的拍照质量相匹配。
防止厂商作弊 一些测试并未公开
由于大多数测试环节是公开的,一些厂商很可能会根据这些测试进行相应的优化,以获取排行榜上的高分。不过DxOMark认为这种情况不太可能发生,因为为了防止厂商照葫芦画瓢,他们并不会公开所有测试,并且得分的算法是严格保密的。
这家机构还有一些其他观点
考略到一些主观性因素,有人喜欢饱和度高的照片,有人喜欢饱和度低的照片,但无论是哪一类,DxOMark认为只要颜色不会出现明显不舒服的情况,他们可以接受这种差异。举个例子,比如佳能和康佳的相机,他们有不同的颜色设置,DxOMark觉得他们都有自己的合理之处,所以这家机构不会去评判佳能的颜色够更好还是尼康的更好。
也因此,他们并不反对华为P20系列的AI算法给照片做优化,相反,他们认为一些摄影师会在拍完照片后进行修图,所以如果能在拍摄时就把图片修好也没什么不好。
最后,DxOMark表达他们对手机传感器的看法,这家机构认为未来手机中感光器的尺寸会越来越大,华为P20上的1/1.7只是一个开始。限制手机镜头传感器的主要因素不是手机的内部空间,而成本。
总结:排行榜分数只是一个参考
和安兔兔这类跑分软件一样,DxOMark将手机拍照这个项目做了数字化处理,让他更清晰更直白的呈现在人们面前。唯一让人们担心的是它的公正性,DxOMark承诺每一款手机的测试的方法和流程完全一样,并且这家机构掌握着自己的核心算法。
那么DxOMark真的那么靠谱吗?
这个问题就像问安兔兔跑分软件到底靠不靠谱一样,处理器跑分很高并不意味着体验一定很好。分数只能从一定程度上说明问题,就像DxOMark说的那样,他们不会去评论佳能和尼康谁的标准更合理,即便两者颜色设置不同,“但是都有可能达到很高的分数”。(苏航)