微软、Mitre发布机器学习攻击模拟插件工具

微软与Mitre本周发布,可模拟针对机器学习(machine learning,ML)系统之攻击的插件工具Arsenal。

这是微软与Mitre针对机器学习系统防护的最新一项合作。双方2020年合作Adversarial ML Threat Matrix开发框架,去年微软推出Counterfit自动化红队演练AI攻击测试工具,供企业对AI算法进行安全评估。最新的Arsenal即是将Counterfit集成于插件中。

Mitre的资源页说明,这个插件可存储和创建Mitre攻击ATT&CK数据库ATLAS(Adversarial Threat Landscape for Artificial-Intelligence Systems)定义的攻击策略和手法,并集成到其CALDERA自动化攻击模拟平台App。Arsenal插件也可和CALDERA可视化插件Almanac配合使用。

Arsenal可协助安全研究人员发现ML工作流程各元素的漏洞,并提供防护方法。截至1月,这个最新插件提供发现远程、本机及可用的网络服务与ML专门服务,还可导出ML模型并以counterfit程序库绕过ML模型。Mitre表示未来会持续强化Arsenal的功能。

Arsenal可执行于Ubuntu 18.04或20.04的系统上,并需要Python 3.7以上版本。

不过Arsenal目前还不是CALDERA默认的插件,用户需要连到caldera-atlas程序库循指示下载。