微软携手MITRE发布捍卫机器学习系统的开放框架

微软与MITRE在本周发布了Adversarial ML Threat Matrix开放框架,该框架搜集了各种可用来攻击机器学习(ML)系统的安全漏洞与对抗性行为,以供研究分析师评估这些恶意行为并找出因应之道,确保未来ML系统的安全性。

MITRE为一接受美国各个政府组织赞助的非营利研发机构,曾发布ATT&CK知识库,集结了在全球所观察到的各种对抗性手法与技术,并供全球访问,而Adversarial ML Threat Matrix的架构则类似ATT&CK,只是把主题从传统的攻击行动转为针对ML系统的攻击行动。

除了微软与MITRE外,还有其它11个组织也对Adversarial ML Threat Matrix作出了贡献,包括IBM、Nvidia与Bosch等。

MITRE实验室总经理Charles Clancy表示,人们既欢迎却又担心人工智能(AI),AI毋庸置疑地加速了各种应用的发展,但在IoT设备结合机器学习之后,一定会带来某些风险,不管是系统故障,或是遭到攻击,都可能对AI带来重大破坏,然而,他相信AI的风险经常被高估,因为AI通常不会是造成关键基础设施损害的头号杀手,例如电网中最危险的对手其实是啃食电线的松鼠,但AI同样也能引起黑客的觊觎。

事实上,在最近的3年内,不管是Google、Amazon、微软或特斯拉(Tesla)的ML系统都曾受骗或被误导,而且该趋势只会日益升温。例如Gartner就曾预估,2022年的网络攻击将有30%来自于资料投毒、模型窃盗及对抗性样本。此外,微软调查了28个各种规模的组织,发现有25个组织完全不知如何防护他们的ML系统。

因此,Adversarial ML Threat Matrix框架中收纳了各种针对ML系统的攻击行为,从侦察、访问、执行、持续、模型逃避、导出资料,到可能造成的影响等,以供分析人员在AI尚未普及之前作好安全准备。