Categories
程式開發

“黑”掉神经网络:腾讯披露新型AI攻击手法,主流机器学习框架受影响


8月19日,第19届XCon安全焦点信息安全技术峰会于北京举行,腾讯朱雀实验室首度亮相。据介绍, 朱雀实验室专注于实战级综合攻击研究及AI安全技术研究,以攻促防 。

会上,腾讯朱雀实验室高级安全研究员nEINEI分享了AI安全方向的最新研究成果:模拟实战中的黑客攻击路径,摆脱传统利用“样本投毒”的AI攻击方式,直接控制AI模型的神经元,为模型“植入后门”,在几乎无感的情况下,可实现完整的攻击验证。

“黑”掉神经网络:腾讯披露新型AI攻击手法,主流机器学习框架受影响 1

据称,这是国内首个利用AI模型文件直接产生后门效果的攻击研究。该手法更贴近AI攻击实战场景,对于唤醒大众对AI模型安全问题的重视、进行针对性防御建设具有重要意义。

腾讯安全平台部负责人杨勇表示,当前AI已融入各行各业,安全从业者面临着更复杂、更多变的网络环境,我们已经看到了网络攻击武器AI化的趋势,除了框架这样的AI基础设施,数据、模型、算法,任何一个环节都是攻防的前线。作为安全工作者,必须走在业务之前,做到技术的与时俱进。

AI应用驶入深水区,安全暗礁不容忽视

随着人工智能成为“新基建”七大版块中的重要一项,AI产业应用进一步驶入深水区,并与诸多技术领域广泛交叉。

然而,人工智能在带来便利之余,却也暗含巨大的安全隐患:几句含糊不清的噪音,智能音箱或许就能被恶意操控使得家门大开;一个交通指示牌上的小标记,就可能让自动驾驶车辆出现严重事故。在工业、农业、医疗、交通等各行业与AI深度融合的今天,如果AI被“攻陷”,后果将不堪设想。

原文链接:【https://www.infoq.cn/article/9X9srGHSZpG9hC1MF06s】。未经作者许可,禁止转载。