移动AI芯片大步迈向普及化,手机都能成为AI加速器

2019年10月,移动处理器龙头ARM大动作宣布加入竞争激烈的移动AI芯片战局,除了发布了全新神经网络处理器Ethos NPU产品,专门锁定移动AI、ML推论的运算需求,还一口气推出两款不同性能的全新NPU产品N57与N37,分别对应中端到低端市场,加上先前推出的N77处理器,ARM的NPU系列已能够涵盖高、中、低端不同产品。

这3款Ethos NPU都支持主流神经网络架构,包括CNN与RNN等,可用于图片分类、语音识别与NLU的应用,也能支持8进制与16进制整数数据类型。其中性能最高的Ethos-N77处理器(先前称为ARM ML处理器),可以提供每秒4万亿次的运算(TOPS),在2018年推出该产品后,至今已有多达2.5亿个ARM设备使用(含手机)。

另外,两款中低端NPU,提供的AI算力也不差,主流或中端市场定位的N57处理器,最大运算力可达2TOPS,即使是配置最低的NPU处理器N37,也有达到1TOPS的算力。这两款NPU均可提供基本的ML或AI推论执行能力,更是未来中、低端手几率先可以采用的首款AI处理器产品。该年10月推出后,按以往经验来看,最快2020年上半,就能够在一些新款中端、入门手机里,看到使用这两款AI芯片的算力,提供的AI服务或新功能。除了手机设备以外,智能摄影机、家庭网关、DTV数字电视也都能支持。

更强大AI加速运算芯片推出

除了中、低端市场,在提供更高性能的AI加速运算产品方面,也有新进展。例如,手机大厂三星最新款旗舰5G手机芯片,就采用内置双核NPU的Exynos 990处理器,还搭配一个改良设计的DSP芯片,每秒最高可执行10万亿次运算,等同于是一台迷你AI计算机,对比Nvidia推出机器人专用的GPU硬件组件Jetson Xavier NX,性能为14 TOPS,但Exynos 990处理器的功耗更低,而且能装在更小尺寸的手机里,通过这样一个内置更高运算力的AI处理器,能够更即时在手机上执行AI、ML模型推论,不需要将数据回传云计算就能迅速完成脸部识别、场景侦测等各种AI应用。

就在三星发布5G手机芯片后的隔一个月,台湾手机芯片大厂联发科,也在2019年11月同样推出集成了更先进AI功能的5G手机芯片,运算性能达到4.5 TOPS,几乎不输给苹果新款iPhone 11的A13 Bionic处理器,能够处理比以前更多且更复杂的AI应用,例如照相优化、图像分类、AI脸部识别等等。

从技术架构来看,在这款天玑1000处理器上,还采用2个大核、3个小核,搭配1个微小核的三层式运算架构,来打造新一代APU加速器(AI Processing Unit),能够针对手机上不同AI应用的执行,交由适合的运算核心层来负责,让这三个性能不同的核心层能够互补,来有效控制高性能下的功耗。

举例来说,如果有较高AI加速运算需求时,就可以交由APU最上层的二个大核心处理,对于需要长时间、全景处理的AI运算,则可改用中间层这3个小核心执行,虽然运算力没大核高,但可以较长时间执行,避免过度耗电。甚至该芯片还设计了一个人脸侦测专用的微核心,能够通过硬件加速的形式,来达到更高侦测准度,并改善耗电。该处理器2020年同样将搭载于5G新手机。

很早就在手机内置AI芯片的Google,更在推出新款Pixel 4手机时,结合自家边缘运算设备专用的ML加速器架构Edge TPU,打造新一代AI处理器芯片Pixel Neural Core,并搭配各种主要ML优化工具与软件,使得手机在执行这些AI或ML推论​​模型时,可以提供更高的准度,而且处理更即时、更省电,借由这颗AI芯片,来提升处理性能用于手机上的脸部解锁、智能语音助理Google Assistant,以及智能相机等任务。

因为是专门为了AI加速运算而设计,针对一些特定的复杂数学任务加以优化,所以,跟现在通用CPU相比,可以更好地提升手机AI算力与降低功耗。

随着AI专用芯片在手机上的重要性,与日俱增,甚至更进一步变成未来每一只手机都要有的标准配备,就像是现在CPU和GPU一样,这也意味着,未来更多移动应用,都能通过手机内置AI芯片的算力,来执行各种AI应用。

以前,因为手机硬件算力不够强,即使是想要在手机上执行AI应用,企业或移动App开发商得先通过云计算执行这些AI推论模型,接下来,才将计算完的结果回传到手机上,再回复给用户,如Google语音助理就是采用这个方式,现在,有了这些配备AI芯片的手机出现,以后,直接在手机上面就能执行如脸部识别、语音识别、NLP等推论模型,让这些AI应用也能脱机作业,借此改善网络限制造成的服务延迟。在更高算力的AI芯片推出之后,更将加速AI应用在手机设备的普及。

当移动App走向AI化,企业IT更得要重新思考对策,来因应使用环境的改变,才能与其他对手竞争。