开发“机器学习”模型老遇瓶颈?五篇超强论文带你看最新AI研究趋势

AI领域广又深,不管是技术面还是应用面都有很多值得探索之处,本文分享5大AI机器学习的发展趋势与模型,从学术论文的角度,带你接收最新的研究与发现。

AI Scholar Weekly是AI领域的学术专栏,致力于为你带来最新潮、最全面、最深度的AI学术概览,一网打尽每周AI学术的前沿信息。

1. 用于AI模型透明化的Model Card Toolkit

Google最近发布了Model Card Toolkit(MCT),该工具包旨在为开发人员、监管人员和下游用户提供透明化的AI模型。Google表示,模型透明度在人们生活的各个领域(从医疗保健到个人理财再到就业)都发挥着重要作用。

Google过去曾发布Model Cards来公开特定的模型架构,并分析了一些案例,这有助于确保其最佳性能。MCT基于Google的Model Cards框架,主要用来报告模型的来源、使用情况和评估结果,并旨在通过收集必要消息和协助用户开发界面,为第三方开发Model Cards带来便利。

Google正在将MCT共享化,以简化所有ML从业人员Model Cards的开发过程。

原文:Introducing the Model Card Toolkit for Easier Model Transparency Reporting

2. 内存有效终端设备学习的TinyTL

这项工作提出了一种微小迁移学习方法(Tiny -Transfer-Learning,TinyTL),用来实现内存有效的终端设备学习,旨在使预训练的模型在边缘设备新收集的数据上表现良好。

现有的迁移学习方法把架构固定了,基本上是通过细微调整权重来适合不同的目标数据集。不同的是,TinyTL固定了权重,通过调整特征提取器的架构并学习内存有效的精简残差模块和偏差,来适应不同的目标数据集

简单来说,TinyTL不需要存储中间激活值,而这正是终端设备学习的主要存储瓶颈

在基准迁移学习数据集上进行的大量实验一致表明了TinyTL的有效性和存储效率,这为高效的终端设备机器学习铺平了道路。

原文:Tiny Transfer Learning: Towards Memory-Efficient On-Device Learning

3. 能破解Deepfake伪造技术的学习方法

Deepfake算法通过伪造图像和图片来生成大量的虚假内容,而且人眼很难将它们与真实的图像和图片区分开来,因此开发能够自动检测和评估数字视觉媒体真实性的算法至关重要。

原文对Deepfake的算法和最新文献中Deepfake的检测方法进行了调查。研究人员针对挑战、研究趋势以及深层伪造技术的发展方向进行了详细讨论,可以为你在这个领域的工作和研究提供帮助。

通过回顾Deepfake的背景和最新的检测方法,这篇文章提供了对该技术的全面概述并促进了更全面的开发方法,来应对日益严峻的伪造现象。

原文:Deep Learning for Deepfakes Creation and Detection: A Survey

4. 自我监督的语音编码器TERA

自我监督学习是一种学习大量未标记数据的有效方法,在近年来迅速发展。但是,许多方法经常通过制定单个辅助任务来学习,例如对比预测/自回归预测或模板重建。

在文章中,研究人员提出了一种自我监督的语音预训练方法,称为“变形编码器表征法”(TERA)。与以前的技术不同的是,TERA使用多目标辅助任务来对大量未标记的语音进行变压器编码器的预训练

该模型通过变化后的副本重建声帧来学习。研究人员使用了随机策略沿着三个维度进行变化,包括时间、信道和幅度。TERA可用于提取语音表示或与下游模型(包含音素分类,说话者识别和语音识别)进行微调。

TERA通过改善表面特征的方法在这些任务上实现了强大的性能,研究人员也表明,这一个新方法可以更轻松地转移未在预训练中使用的另一个数据集。

原文:TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech

5. 可在手机上试验的开源框架Flower

这篇文章提出了一个名为Flower的新的联合学习(FL)框架,专为手机设备与连接这些设备的无线连接而设计,该框架主要支持在手机和无线设备上实施FL模型的试验;FL(也称为协作学习)是一种机器学习(ML)技术,可跨多个分散的边缘设备或保存本地数据样本的做服务器训练算法。

该研究描述了Flower的设计原理和实现细节,以及将其与基于云计算的移动客户端集成的几个范例。研究人员认为,这将是FL移动应用中真正的改变关键。

通过Apache 2.0 License 2开放源码,Flower希望能协助研究FL为重点的问题,并进一步让社群成员开发新的框架,来支持新的通信协议和移动客户端。

原文:Flower: A Friendly Federated Learning Research Framework