Huawei多款手机违反测试规范,遭3DMark撤销测试成绩

3DMark是市面上最专业的显示性能测试工具之一,不但支持Windows平台计算机,也具有兼容于Android、iOS等设备的版本,这次的事件起因为科技媒体AnandTech发现Huawei推出的手机以不正当手段取得较佳成绩,经3DMARK开发公司UL确认过后,最终撤销多款手机成绩。

Huawei偷吃步被抓包

初代3DMark是于1998年10月由Futuremark推出,而Futuremark于2014年并入UL,到了2018年4月正式更改品牌名称,因此3DMark与PCMark等产品就挂上UL品牌。

UL在新闻数据中提到,在过去的5年中,有许多智能手机的制造商被发现试图操作测试成绩,这也是为什么UL明确向制造商声明测试规范,在什么条件下设备与测试软件的交互方式是被允许的。

然而日前AnandTech的报导指出,多款Huawei与其子品牌Honor的智能手机,似乎通过人为方式产生异常高分且具误导性的测试成绩,而根据美国市场研究公司IDC的数据,Huawei是世界上销量排名第二的智能手机制造商。

UL在自己的实验室测试了这些疑似被动过手脚的产品,并确认这些产品违反测试规范后,决定将受到影响的型号从设备清单与成绩排行榜中移除。目前已经被移除的产品型号如下

根据UL亲自测试而移除的型号:
Huawei P20 Pro
Huawei Nova 3
Honor Play
根据AnandTech的测试和报告而移除的型号:
Huawei P20

Huawei多款手机违反测试规范,遭3DMark撤销测试成绩

 

UL已将受影响的手机从成绩清单中除名,导致这款旗舰手机因“没有成绩”而排在成绩排行榜的末段。

UL如何确认问题?

为了要验证Huawei智能手机是否真的有为了测试成绩而动了手脚,UL分别使用公开于Google Play网络商店的公开版3DMark App与公司内部专用的版本进行测试,结果发现在同一测试项目下,公开版的测试成绩比内部版高出47%。

对于这个状况,UL引用了AnandTech所提出的解释,指出当这些智能手机在执行公开版3DMark的时候,显然是打开“性能模式”并覆盖原本的电力设置档,通过有高于正常执行状态的耗电量来提升性能表现。

而这种成绩上的差异,可以判断出这这些设备只是单纯依据App的名称为3DMark,就打开性能模式,而不是通过处理的工作种类进行分辨,这种侦测方式与优化是被UL提供给手机制造商的规范所禁止。

UL也与Huawei联系,讨论该调查结果,UL表示他们很高兴Huawei承诺在未来的系统更新中导入更透明的测试方法,并计划提供用户自由切换性能模式的设置选项。

从UL提供的测试数据可以看到,使用公开版3DMark测试的成绩比内部版高出许多。

UL表示在目前的测试规范下,并没有禁止手机制造商为产品加入性能模式,惟执行测试时需将性能模式默认为关闭状态,让测试App与其他App在一样的环境中执行。

然而在这次出现问题的手机中,有个奇妙的巧合,那就是这些手机都是采用Huawei旗下HiSilicon所生产的Kirin 970处理器,是否因为这款处理器背负着不能输的压力而引发这次事件,就只有Huawei自己最清楚了。