NVIDIA如何通过ADA技术解决AI训练资料不足的问题?

在训练AI模型的过程中,往往需要输入大量的训练样本资料,才能提升AI模型精确度,为了改善这个问题,NVIDIA提出ADA技术,能在维持同样良好训练成果的前提下,大幅缩减所需的样本数量。

简单的说,一般的AI运算可以分为2部分,首先需要在“AI训练”阶段通过输入大量样本,让AI模型能够知道它的工作任务是什么。当AI模型训练好之后,就可以在“AI推论”阶段执行交付给它的工作。

举例来说,如果我们想要通过AI来分辨照片中的动物是猫或狗的话,就需在AI训练阶段提供大量猫与狗的照片,让AI模型学习其中的特征,然后在AI推论阶段就可以输入全新的照片,让AI模型去分辨这张照片中的主角是猫还是狗。

一般来说,如果在在AI训练阶段输入越多样本资料,训练出来的模型精准度就越高。然而我们还是会遇到无法准备大量样本的情况,比方想要通过AI分辨罕见疾病的X光、超音波、核磁共振等医学图片,但却因为累计的病例数太少,或是想要通过AI模仿某位画家的风格,但他流传的作品并不多,而无法提供充分的图片。

一般来说AI训练可不是准备个数百个样本就够,动辄可能需要10万组样本才能训练出堪用的模型。图例为训练识别花朵的样本图片。(图片来源:NVIDIA,下同)

对于生成对抗网络(GAN)而言,如果只是使用少量的数千张图片进行训练,可能会发生鉴别网络只是单纯记住训练图片,而无法提供有用的反馈给生成网络,产生过度拟合(Overfitting)的问题,降低产出图片的逼真感。

过去就有研究人员尝试过把通过修改训练图片来增加样本的想法,但往往造成生成网络学习扭曲后的图片,最终无法产生可信度的合成图片。NVIDIA这次提出的ADA(Adaptive Discriminator Augmentation,自我调整判别器增强)技术则可避免该问题,通过对原始图片进行移动、旋转、改变亮度、改变颜色等修改产生新的样本,并送回对抗网络进行AI训练,如此一来便能发挥在维持相同模型精确度的前提下,降低样本需求量至原本的1/10甚至1/20。其最终好处就是仅需使用一般生成对抗网络所需学习材料的一小部分,就能学习到像是模仿著名画家的画风,以及重现癌症组织图片这般复杂的技能。

一般生成对抗网络需要输入大量训练样本,以达到强化模型精确度的效果。

NVIDIA的ADA技术则能在不影响训练结果的前提下,降低样本的需求数量。

ADA的概念就是通过修改原始样本,来产生具有实用价值的新样本。

修改方式包括移动、旋转、改变亮度、改变对比、改变颜色等等。

举例来说ADA能够应用于产生脑部核磁共振图片,提升训练成效来强化AI判别疾病的能力。

将ADA用于训练StyleGAN2模型,能够发挥在使用不到1,500张大都会博物馆提供图片样本的情况下,创造逼真的合成图像。

可以参考此视频中对于ADA与StyleGAN2的动态展示。

ADA虽然无法直接缩段AI训练所需的时间,或是提升最终AI模型的精确度,但确可以有效降低训练过程所需的样本数量。有兴去的读者可以参考“Training Generative Adversarial Networks with Limited Data”论文,以了解更多信息。