如何开发出不输Apple算力的手机AI芯片?联发科首度披露天玑1000背后AI技术关键

联发科在本周推出第一款高端5G手机专用处理器芯片“天玑1000”,除了集成了最先进7纳米CPU、GPU、5G调制解调器芯片之外,更在这颗处理器内,搭载一颗独立AI处理器APU 3.0,在AI应用加速运算执行上,可达到4.5 TOPS(每秒万亿次运算,Trillion Operations Per Second),完全不逊于苹果新款iPhone 11专用的AI神经网络处理芯片,甚至联发科宣称,该处理器是目前AI算力最高一款5G SoC单芯片,到底怎么做到?在今日(29日)一场技术说明会上,联发科首度对于这颗处理器采用的AI芯片透漏更多细节,可以一窥这颗AI处理器的性能表现。

为了抢得先机,赶在下周高通5G SoC产品发布会举行前,联发科不仅在本周推出首款5G SoC单芯片,更罕见地举办技术说明会,并由负责这款5G手机芯片开发的联发科无线通信业务部总经理李宗霖,协同两位研发主管,除了说明这颗新处理器的设计萌生想法,也透露更多关于其采用AI神经网络处理器APU 3.0技术细节。

在这场技术说明会上,主要是由负责这颗天玑1000处理器开发的手机部门研发主管,来进行技术上说明,图上左至右,分别为联发科无线通信业务部产品营销处经理粘宇村、联发科无线通信业务部总经理李宗霖、联发科无线通信业务部产品营销处处长何春桦

新推出的天玑1000,其实并非联发科最早搭载APU(AI Processing Unit)的移动处理器,早先,Helio P60推出时,在这颗CPU内就已开始内置APU处理器(或称为Mobile APU),不过,一开始,APU设计上,仅集成传统DSP来负责专门图片处理,并未加入AI神经网络处理能力,直到去年底,性能更强大的Helio P90问世时,联发科才首度加入自行研发打造的AI专用神经网络加速器,即是第二代APU,使得这颗CPU在AI算力表现高出前代多达4倍之多,可以来执行更复杂的AI任务。

首次集成5G能力的天玑1000处理器,则是改搭载第三代APU,更大幅度改善性能和功耗,来提供更强大的AI算力。首先,在设计上,与前一代有很大不同,APU 3.0采用全新2个大核、3个小核,以及搭配1个微小核的三层式运算架构设计,对比前一代仅是1大核,加上2小核的二层式设计,不仅,运算核心层数增加,大、小核心数也变更多,可以用于执行更多不同AI任务,例如自动曝光、降噪、HDR、图像分类,AI脸部识别等等。

之所以采取分层式混合运算核心设计,联发科无线通信业务部产品营销处处长何春桦解释,考虑到的是手机AI应用快速增长,进一步带来庞大且复杂AI运算处理需求的出现,更需要有这样子的架构,来保有计算资源调度的弹性,而且能有效控制高性能下的功耗。

他以手机拍照为例,不像以前只有照片修图才会用到AI,将来就连拍摄完的高画质视频,也都要加入AI功能,要能够对这些连续性图片画面进行各种优化,“因应这些需求,就需要更强大的推论处理能力,”所以,他说,在设计上,才会考量这方面的使用需求重新调整,打造出新一代APU架构,能够依据不同手机AI应用执行,交由适合的运算核心层来负责,例如需要比较复杂运算的图片处理时,就可使用APU最上层的二大核心执行,对于需要长时间、全景处理的运算任务,则可改用中间层这3个小核心处理,虽然运算力没大核高,但可以较长时间执行,避免过度耗电,同时,也保有VPU做法,针对需要传统图片信号处理的算法,仍可交由这一层来执行,并也强化浮点运算处理能力。

另外,针对手机拍照常用到的人脸侦测功能,联发科也特别在这颗APU最底层设计了一个更微型的小核心,专门就是用来执行脸部侦测,何春桦指出,这样做的好处,在于较一般以软件形式在CPU上执行的方式,直接采用这颗微核心来达到硬件加速的做法,不论是在全景人脸侦测准度,或是降低运算功耗上,都能够获得明显改善。

这样设计架构,也反应在运算性能提升上,APU 3.0每秒平均运算性能可达到4.5 TOPS,除了性能较前一代提高至少2.5倍,甚至也不输给目前主流移动处理器的加速AI芯片,例如,苹果新款iPhone 11的A13 Bionic处理器采用的AI神经网络引擎,其运算性能可达5 TOPS以上,若以同类型5G SoC产品来比较,也高于另一款三星Exynos 9820 NPU加速器的1.86 TOPS,不过,三星前不久推出新款5G SoC时,则是宣称将算力提高到了10 TOPS。

根据联发科公布测试数据,在目前几个常见神经网络架构(如SRCNN、MobileNet v2、Inception v3)为主的运算性能测试下,APU 3.0在AI运算加速上均获得不错优异表现,例如在浮点运算处理能力高于竞争对手2到3倍,另在整数运算性能测试也优于对手近40%~80%。除了运算力的大幅提升外,这代APU在能源效率方面也有所改善,多达4成。

在软件及开发工具方面,APU 3.0支持了联发科自有NeuroPilot神经网络开发平台,让手机设备商或开发人员,可以通过SDK组件将第三方AI算法移植到这个处理器上来执行,并且也兼容于Android神经​​网络API(Android NNAPI),还支持许多主流的AI框架,如TensorFlow、TF Lite、Caffe、Caffe2以及MXNet等。

除了技术上说明之外,联发科无线通信业务部总经理李宗霖今天也披露更多关于5G SoC产品化蓝图,他表示,除了高端手机能用之外,未来因应市场需求,也会推出中、低端手机能用的5G SoC。另外,由于目前全球5G商用网络,大多还是以Sub-6GHz频谱为主,所以在产品策略上,联发科决定先推Sub-6GHz的5G SoC,但并不表示没在开发高频段的毫米波5G产品,李宗霖强调,这两种5G技术,皆同时并行开发,除了支持Sub-6GHz,后续,也会推出能够支持毫米波频段的5G SoC产品。

发表评论