TensorFlow Lite现已成为Android官方指定机器学习引擎

Google宣布更新Android自定义的机器学习堆栈,这是一组在Android上部署自定义机器学习功能的基本API和服务。

由于设备上机器学习的各种优点,包括脱机可用、更低的延迟、更好的隐私和更低的推论成本,因此比起以服务器为基础的机器学习,能够提供更好的性能。开发人员在Android上构建机器学习应用时,有两个方法可选,第一种是使用生产就绪,带有预训练和优化的机器学习模型SDK,当开发者想要有更多的控制,就可以选择部署自己的自定义机器学习模型和功能。

Google现在更新Google Play服务中的TensorFlow Lite,作为Android官方机器学习推理引擎,Google由于想要取代独立的TensorFlow Lite,因此在Google I/O 2021大会中,宣布于Google Play服务中推出TensorFlow Lite早期访问预览。

而从发布到现在,Google Play服务中的TensorFlow Lite,已经通过数万个应用程序,每月对数十亿个用户提供服务。在上个月,Google在Play服务中发布TensorFlow Lite稳定版,而现在,Google将其默认为Android官方机器学习推论引擎。

在Google Play服务中使用TensorFlow Lite的好处是,可以缩小二进制文件的容量,并通过自动更新获得性能改进,同时也更容易与Android自定义机器学习堆栈之后的API和服务更新集成。

另外,TensorFlow Lite Delegates现在也通过Google Play服务发布。在数年前,Google发布的GPU委派和NNAPI委派,让开发者可以使用GPU、DSP或NPU等特殊硬件,而GPU和NNAPI委派现在则是通过Google Play服务发布。

在不少高端用例,开发人希望可以直接使用自定义委派,因此Google也正与硬件厂商合作,借由Google Play服务来扩大自定义委派访问。官方提到,因为硬件的差异,要针对优化硬件加速配置,在执行时对所有Android用户,挑选最佳TensorFlow Lite Delegates有其困难。

为了解决这个困难,Google正在创建一个新的API,使应用程序可以在执行时,替TensorFlow Lite模型安全地优化硬件配置,目前这个功能正在早期访问阶段,开发者需要额外申请才能使用,官方预计会在明年初时公开发布。