Reddit、Spotify纷纷收购内容审查创业公司,用AI处理不当言论还有哪些挑战?

疫情假新闻、公然污辱、股海明灯等留言每天充斥社群平台,都造成平台用户体验不佳,市场研究公司Ipsos英国调查指出,68%希望社群媒体采取更多行动保护用户安全,还有45%表示,如果社群平台一直没有推出保护措施,将减少或停用App。

各社群媒体相继补足这块市场漏洞,“美国PTT”社群论坛Reddit就在10月收购内容审查创业公司Oterlu,期望利用AI协助审查贴文内容;Spotify也在6月收购内容审查创业公司Kinzen,致力打造更加健全的社群。

即便AI审查效率高、速度快,运用机器学习分析主观又有情绪的文本,还有哪些挑战有待解决?

Reddit收购Oterlu审查社群内容,Spotify、Twitter也祭出相关新制度

10月4日,Reddit宣布收购瑞典内容审查创业公司Oterlu,将Oterlu团队成员并入Reddit安全团队,开发快速检测各国有害内容的AI模型。Reddit官网新闻稿说:“Oterlu使用自然语言处理技术、AI模型和机器学习审查欺凌、骚扰等不良行为,帮助加速Reddit自动化安全系统。”

此次收购案有迹可循,Reddit 6月开发Hateful Content Filter Beta(仇恨内容过滤功能),让各论坛区块版主决定是否打开内容审查功能,自动删除有害贴文,7月另一项测试版功能Ban Evasion Protection(禁止回避保护机制),先让AI判定有贴文、评论是否具有疑虑,再移交给版主审查。

如果有不当言论,Reddit便会在贴文底下标示。(Source:Reddit)

其他社群平台也相继推出内容审查机制,像是美国喜剧演员Joe Rogan 2月在Spotify上的Podcast节目发布错误的疫情报资料讯,引起270名医师和科学家要求Spotify创建内容审查制度,但Spotify却迟迟无祭出相关政策,导致Neil Young及Joni Mitchell等歌手纷纷在Spotify撤下音乐。

为尽快止血,Spotify在6月成立安全咨询委员会,10月收购内容审查创业公司Kinzen,用AI帮助分析Spotify上面的音乐、视频内容。

Twitter也在1月创建内容审查新制度Birdwatch,可以让用户在有疑虑的贴文底下留言,共同评论该贴文是否违反道德伦理,请发文人补充证据、相关资讯,让内容审查制度兼具弹性和人性。

Oterlu用AI内容审查社群,美国创业公司Modulate着眼游戏产业

Oterlu创办人Alexander Gee过去在Google信任暨安全团队担任经理,专门负责把关儿童网络安全,他目睹网络上大量的有害资料,因而萌生出一项创业点子──内容审查,于是他寻找具备机器学习、数据分析专业的Ludvig Gee及Sebastian Nabrink,一同在2019年创办Oterlu。

过去用户仅能通过手动举报,让社群平台人工审查贴文内容,不仅耗时又无法完全抓出所有有害贴文,而专门面向B2B公司的Oterlu通过开发SaaS平台,用AI自动标记骚扰言论、脏话、色情消息等内容。

以客户之一、着色App Recolor例子来说,Oterlu训练AI模型的过程分为三步骤,首先让AI认识完整的句子架构,第二是理解用户Recolor如何交谈和讨论,第三则是识别什么内容能允许发在Recolor。Oterlu还在Discord推出AI审核机器人,方便版主管理社群,目前在500多个服务器运行,保护300多万名用户的社群安全。

Oterlu开发内容审查AI模型的运行原理。(Source:Oterlu)

内容审查机制不仅社群媒体运行,美国创业公司Modulate则将目光转向游戏产业,用AI侦测游戏对话的不当言论,提报不当言论,让官方决定暂停游戏、封锁玩家账号等后续处理。

AI自动化审查有哪些隐忧?

不过利用AI机器人分析具有情感、主管性质的言论,多少存有疑虑,华府智库新美国(New America)就指出内容审查自动化有四大问题:

自2016年英国脱欧公投、Facebook的剑桥分析事件过后,假新闻在社群四处流窜,社群用户成为政治广告的投放对象,操弄公民选择,使言论自由权利逐渐遭到滥用。从这次Reddit、Spotify的收购案,可见社群媒体对AI审查寄给厚望,然而,碰上AI技术的局限性,如何用AI模拟人们心中存有的那一把“尺”,仍有待解决方案。

(首图来源:Oterlu)