瞄准物联网商机,Google新AI芯片Edge TPU跟以往有何不同?

Google在Google Cloud NEXT 2018活动中宣布推出新AI芯片Edge TPU,这个芯片功能是什么?和以往的第一代到第三代TPU芯片(又称为Cloud TPU)哪里不同呢?

主攻工业物联网,10月销售开发版套件

根据Google官方博客数据,Edge TPU是一种低功耗低成本的ASIC芯片,而且体积非常小,小于1美分铜板。 ASIC专用芯片和GPU通用芯片比较之下,芯片功耗较低,延迟性也较低,运算效率较高,如Edge TPU在高分辨率影音上可以以每秒30帧的速度,在每帧上同时执行多个AI模型。

另外,Google也将推出Edge TPU开发版套件(module development kit)。其中含有恩智浦CPU、Edge TPU、Wi-Fi功能和加密芯片的开发版在今年10月就会对外销售。

Google也提到Edge TPU将主攻预测性维护、异常检测、机器视觉、机器人、语音识别等工业物联网应用场景,除了在工业制造领域,在医疗、零售、智能空间与交通等领域也是用。而LG已经计划在产品线上使用Edge TPU。

而支持Edge TPU的框架和软件服务则全都绑定在Google自家的架构之中,打造“封闭的生态系统”意图明显。希望开发者或企业也会采用Edge TPU后,也会被绑定在Google Cloud服务中。因此在使用上必须搭配Google的 Cloud IoT Edge 软件,并且针对 TensorFLow 机器学习模型优化。

EdgeTPU新芯片和Google以往推出的TPU芯片不同。 Google以往推出的第一代到第三代TPU芯片用途在数据中心,也就是云计算运算的机器学习训练和推论使用,因此被称为Cloud TPU,而刚推出的新芯片则用在终端设备,也就是边缘运算的推论,也因此Gogole以Edge TPU称之。

边缘运算的推论又是什么意思呢?

什么是边缘运算与推论?根据台湾行业分析公司拓扑的描述:边缘运算可说是物联网时代下的产物,“边缘运算在传统云计算与设备端的连接中间,多了一层运算层──Edge 端,Edge 其实指的是靠近数据源的运算单位,包括网关、路由器,以及硬件底层相关的各种机器、设备、设备与系统。”

“有了Edge 端直接针对多设备、庞大消息先做截取、过滤与处理,对设备端做出反馈与反应,不用让所有数据都上到云计算,以期在数据量逐渐庞大、重视信息即时处理传输的现代,更能有效率处理信息,减少事事上云计算所带来的时间递延与数据传输/存储成本。”

而推论呢? NVIDIA的官网文章中指出,“深度神经网络进行“训练”阶段,就犹如校园里的授课活动。就跟大多数人接受教育的理由一样,神经网络接受教育的理由也是学习怎么执行工作。更明确一点来说,经过训练的神经网络会在数字环境里发挥所学习到的内容,通过应用程序这种简单的形态来识别图片、人类语言、血液疾病,或建议人们下一双可能会买的鞋子等等。这个速度更快、效率更高的神经网络会按照训练过的内容,猜想新数据的走向。在人工智能圈的词汇里,这称为“inference”(推论)。 ”也因此神经网络模型未经过训练便不会进行推论。

理解边缘运算与推论之后,我们回过头来看Edge TPU。以应用场景来看,Google Cloud首席合作伙伴暨代理商爱卡拉交互媒体共同创办人暨首席运营官郑铠尹指出:

Edge TPU可以让整个硬件行业,将云计算的强大运算能力“下载”到本地端的机器上面, 使本地端的机器具备一定的智能。

如一般居家设备或电子设备,能做一定程度的“预测功能”。举例来说,家中的智能“门”遇到来客时,并不需要通过网络把人脸丢回“云计算”识别,而是“门”自己直接就可做完这个识别。

终端设备无须将数据回传​​云计算,就能直接做出预测可以带来数据安全性更高、延迟速度较小与不受带宽限制等许多好处,可以提供更好的用户体验。以上述的智能门人脸识别为例,就可以更快速地提供来客身份确认。

Edge TPU会取代 Cloud TPU?

那EdgeTPU优点这么多会取代Cloud TPU吗?也不会。在AI应用场景中,边缘运算短期内不会取代云计算运算,因为许多高端应用机器学习模型,由于消耗的运算量大,还是需要通过“云计算”训练机器学习模型,边缘运算由于硬件成本与环境限制,还是有其运算局限,也因此若延伸到两种芯片的关系上,两者是相辅相成,功能不重叠,是互补关系。

Google在官方博客中强调:“Edge TPU是设计来让Google的Cloud TPU 产品更完整。”如此一来,可以更快地在云计算中训练机器学习,然后在Edge飞速进行机器学习推演。这让你的传感器不再只是数据收集器,而是可以做出更在地、即时、智能的决策。

缺点

不过Edge TPU本质上是ASIC芯片,由于是专用订制芯片,在AI算法不断推陈出新,还没有到成熟稳定时期,Edge TPU很难克服不同算法之间的差异性。