苹果副总裁亲自解释,iPadOS 14随手写功能如何开发而成?

苹果iPadOS 14的一大亮点,即是名为“随手写”(Scribble)的新功能,可将Apple Pencil的手写文本自动转换成键入文本,无需切换使用屏幕键盘,背后即运用机器学习技术。苹果软件工程资深副总裁Craig Federigh接受知名机械科技杂志Popular Mechanics采访时,分享有关随手写功能的开发过程。

借由iPadOS 14新加入的随手写功能,可用Apple Pencil在iPad上的任何文本字段书写,并自动转换成键入文本,支持(繁体/简体)中文与英文混合书写。若在错误书写上涂划可将字词删除,圈选字词则能反白以剪切与粘贴。

(Source:苹果)

Craig Federigh表示,随手写功能的基础其实来自数据搜集。

为了解手写笔画,苹果于世界各地找人,给予一支铅笔,让他们快速书写、缓慢书写、倾斜书写,用不同方式写下文本,再进行机器学习。

这种方法有别于扫描或分析现有笔迹等方式,对苹果的技术而言,仅靠静态例子是不够的,需要查看构成每个字母的笔画是如何下笔,从中了解人们如何书写。这还意味着苹果的软件可在书写过程中知道用户在写什么,结合语法的数据文件,甚至可以预测下一笔要写的笔画、字母或单词。

大多数苹果产品运用的机器学习技术一样,所有运算处理都是在设备上完成。Craig Federigh指出,随手写功能必须在用户持有的iPad上即时完成书写转换,代表设备本身的运算能力必须拥有一定程度的等级,才能符合功能需求。

(首图来源:苹果)