您的位置:首页>>电脑软件

AI安全问题不容忽视 360发布《AI安全风险白皮书》

发布时间:2018-02-12 19:33:29  来源:互联网    采编:即时新闻  背景:

  众所周知,深度学习是人工智能技术的核心卖点:通过模拟人脑机制,机器也能够像人那样,自主学习海量高深的知识,从而获得常人无法企及的技能,帮助人类实现更为曼妙和科幻的场景。不过,憧憬虽然美好,但是随着一批深度学习应用逐渐开始变成现实,安全问题也渐渐显现出来。

  日前,360安全研究院结合过去一年对深度学习系统安全性的详细研究,出具了《AI安全风险白皮书》。白皮书从深度学习系统软件实现的复杂度、深度学习系统模型的逃逸攻击和深度学习系统数据流中的安全威胁三个角度,详细解读了AI系统的安全威胁。

  当前人工智能应用面临多方威胁

  2017年以来,每次有关人工智能的新闻报道都会让很多网友由衷的感叹。比如谷歌AlphaGo与李世石、柯洁等国际一流围棋大师对弈,将这些围棋一流好手“挑落马下”。像围棋这种复杂多变的棋盘游戏,几乎代表了人类的顶级智慧。AlphaGo能够在千变万化的棋局中,选择对自己更为有利的步数,继而赢得棋局,靠的便是深度学习算法对场上局势进行研判。

  不过,像AlphaGo这样的人工智能应用并不与外界有直接的交互,或者是在封闭的环境下工作,因此受到的安全威胁相对较小。然而,随着人工智能应用的普及,安全威胁会不断增加,更多的应用会把应用的输入接口直接或间接暴露出来。同时封闭系统的攻击面也会随着时间和环境而转化。

1.jpg

图1:深度学习算法与安全所考虑的不同输出场景

  目前公众对人工智能的关注,尤其是深度学习方面,缺少对安全的考虑,这是人工智能安全的“盲点”,近期很多对于深度学习的讨论主要停留在算法和前景展望的层面,并没有考虑人为恶意造成或合成的场景;深度学习软件层面,很多是实现在深度学习框架上。然而系统越是复杂,就越是可能包含安全隐患。任何在深度学习框架以及他所依赖的组件中的安全问题都会威胁到框架之上的应用系统;另外,正如安全人员常说的,魔鬼往往隐藏于细节之中,任何一个大型软件系统都会有时限漏洞。考虑到深度学习框架的复杂性,深度学习应用也不例外。

  深度学习逃逸攻击让AI系统迷了眼睛

  同时,白皮书以逃逸攻击为例,解析了深度学习模型所存在的一些安全问题。所谓逃逸攻击,指的是攻击者在不改变目标机器学习系统的情况下,通过构造特定的输入样本以完成欺骗目标系统的攻击。只要一个机器学习模型没有完美学到判别规则,攻击者就有可能构造对抗样本以欺骗机器学习系统。

2.jpg

图2:稍加干扰因素 深度学习系统会将熊猫误认为长臂猿

  白皮书中列举了Ian Goodfellow在2015年ICLR会议上提出的著名逃逸样本,样本使用了谷歌的深度学习研究系统,该系统利用卷积神经元网络,能够精确区分熊猫和长臂猿等图片。

  不过,攻击者对熊猫的图片“稍加改造”,增添了一些干扰因素。虽然这细微的差别并不会影响人类的判断,不过深度学习系统却把熊猫误认为了长臂猿。试想在具有图像识别功能的AI系统中,如果判断失误,AI系统就很有可能做出截然不同的选择,有可能导致非常严重的后果。

  此外,基于机器学习的逃逸攻击主要是分为白盒攻击和黑盒攻击。白盒攻击需要获取机器学习模型内部的所有信息,然后直接计算得到对抗样本;黑盒攻击则只需要知道模型的输入和输出,通过观察模型输出的变化来生成对抗样本。

  深度学习需谨慎降维攻击

  此外白皮书指出,在深度学习的数据处理流程中,同样存在安全风险。攻击者在不利用平台软件实现漏洞或机器学习模型弱点的情况下,只利用深度学习数据流中的处理问题,就可以实现逃逸或者数据污染攻击。

3.jpg

图3:降维处理可能导致深度学习系统“指鹿为马”

  比如,白皮书引用了Caffe平台自带的经典图片识别应用案例,案例使用了一张羊群的图片,识别所用的神经元网络是谷歌发布的GoogleNet,数据来自著名的ImageNet比赛。不过令人遗憾的是,Caffe的深度学习应用将羊群误判为狼。究其原因,还是由于深度学习自身算法的问题。由于深度学习模型真正用到的数据都会是维度变化过的图片,即对图片进行了一些算法处理,其中包括最近点抽取、双线性插值。这些处理的目的就是降低算法的复杂程度,并尽量保持图片原有的样子。

  但是这些常用的降维算法并没有考虑恶意构造的输入。上面的攻击例子,则是针对最常用的双线性插值构造的恶意攻击样本。根据白皮书的初步分析,几乎所有网上流行的深度学习图片识别程序都有被降维攻击的风险。对于降维攻击的防范,用户可以采用对超出异常的图片进行过滤,对降维前后的图片进行比对,以及采用更加健壮的降维算法等。

  当前,人工智能的风潮席卷而来,人们醉心于新鲜事物带来的全新体验,却往往忽视了暗流涌动的安全问题。随着人工智能的普及,人工智能将面临来自多个方面的威胁:包括深度学习框架中的软件识别漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。未来,作为国内最大的网络安全公司,360将以更为开放、分享的心态,致力于帮助行业及厂商解决人工智能的安全问题,为我国人工智能的蓬勃发展保驾护航。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
Darkcomet木马变身“抓鸡狂魔” 腾讯电脑管家精准查杀
窃取用户敏感数据、个人银行账户和密码等信息,或者在设备上执行恶意代码实施进一步的网络攻击活动...
日期:11-09
微软:Windows 10专业版无法激活问题已得到解决
这两天,不少网友突然反馈Windows 10突然显示为未激活,还有从Pro版本降级为Home版本的案例出现(购...
日期:11-09
微软推送Windows 10 19H1快速预览版18277系统更新
11月8日消息 今天微软推送了Windows 10 19H1预览版18277系统更新,本次是面向快速预览版通道,同时...
日期:11-08
Windows 10 19H1新版18277发布:操作中心/高分屏优化
11月8日消息,微软今晨面向Windows 10快速通道的会员推送了新预览版,Build 18277。它隶属于19H1(v1...
日期:11-08
Win10 19H1出现新版式音量控制面板:更易用
越来越多令人“欲罢不能”的新特性在Windows 10 Build 18272中被发现。
日期:11-05