您的位置:首页>>人物动态

百度安全马杰:与其恐惧,不如拥抱

发布时间:2018-01-31 14:21:06  来源:互联网    背景:

  文 | 史中

  说到人工智能,人们有一个经典的恐惧:

  人工智能一旦发展,就会代替所有人的工作;继续发展下去,最终会奴役人类。”

  有一个小故事或许可以解决他们的疑虑:

  当年伦敦城有一场持续几十年的汽车代替马车的进程。伦敦十万马车夫夙夜忧叹,上街游行,担心自己失业。最终马车夫们大多成了出租车司机,世界末日并没有来。

  对于人工智能威胁论,我的判断一贯是:“担心被人工智能抢掉工作的人,首先会被其他人抢掉工作;担心被人工智能奴役的人,首先会沦为其他人的附庸。”

  而今天我想讨论的,是另一种更实际的恐惧:人工智能本身会存在安全问题吗?

  2017年,百度李厂长把无人车搞到五环路上,还因为违反交规收到了罚单。虽然后来证明“实线并道”“不打转向灯”这种神操作,都是人类驾驶员的行为,但还是让很多吃瓜群众感觉有点惊险。

  未来人工智能可是要帮我开车、帮我治病的啊,如果被黑客入侵做出什么“傻事”,后果还是挺严重的。随便开个脑洞:

  如果自动驾驶的“大脑”被入侵,在四环路上就会瞬间多出一千匹“野马”,带着其中的乘客上演《速激8》的戏码。

  如果自动手术的“机器医生”程序错乱,本来准备开一厘米的微创,结果做成了一米长的开膛。。。

  这种情况究竟会不会发生呢?

  一、天生安全的工具存在吗?

  按照我的套路,要回答人工智能是否安全,得先定义一下它的属性:

  无论是有人车还是无人车,它们本质上和锤子、打火机一样,都是“工具”。因为我们对世界的理解是渐进的,所以工具的安全性也是渐进提高的。随着它的“利”慢慢大于“弊”,这种工具也会渐进式普及。

  举几个例子吧:

  1、美国在1910年颁布法律禁止酒驾;1968年才颁布法律强制司机系安全带。到今天算是到了90分。在汽车普及过程中,经历了一百年事故频发生率缓慢下降的阶段。

  2、作为世界公认最伟大的工具,互联网也经历了十年安全性极低的阶段。在网络大面积普及的2000年前后,出现了红色代码、震荡波、熊猫烧香等等一系列病毒。一个病毒只需要十几小时就能占领全世界的电脑,比1942年的蝗灾可怕多了。经过这么多年发展,如今的网络安全水平,大概也到了80分。

  3、人工智能免不了也会面临一样的命运。历史不会重演,但会押韵。与其祈祷人工智能的完美,还不如脚踏实地去研究怎么把它变得安全。

  说到这,就得让今天的主角,互联网巨头百度登场了。两年前就“梭哈人工智能”(All in AI)的百度,已经在这个赛道上领跑了。世界还是挺公平的:跑得快的人,就会先遇到坑。所以,百度在“人工智能安全”上也积累了不少经验。

  李彦宏乘坐自动驾驶汽车,走在北京五环路上

  不久前,我见到了百度安全事业部总经理马杰和百度安全产品部总经理韩祖利,和他们聊过之后,我相信有两件事会发生:

  1、下一个大规模普及的人工智能产品,可能来自百度;

  2、有了大规模的用户,才会让问题暴露并引起广泛关注。所以第一个遇到并着手解决人工智能安全问题的,也可能是百度。

  那么,目之所及,人工智能会面临哪些具体的风险呢?

  马杰(画左)和韩祖利(画右)

  二、人工智能有哪些安全问题?

  韩祖利把人工智能面临的问题,分成了五大类。

  1、传感器欺骗

  2017年的极棒黑客大赛上,来自百度安全实验室的小灰灰用A4纸打印的人脸就骗过了人脸解锁装置;同样的 A4 纸,打印之后也可以用于破解虹膜识别;还是 A4 纸,竟然也可以破解“指静脉识别”这种被用于社保系统的“高安全等级”技术。

  人脸识别、虹膜识别、指纹识别、指静脉识别,其实都是基于人工智能的一个重要分支:图像识别技术。

  小灰灰告诉我:“这些每个人都会用到的身份识别技术,原理都是通过传感器采集信息,然后进入算法。这样,只要知道这些传感器需要“看见”什么,我们就伪造一个给它看。就能轻松欺骗骗过它了。”

  这是小灰灰拍摄的自己的眼睛,用来破解虹膜识别系统。

  这也是韩祖利眼中人工智能面临的第一个问题:“传感器欺骗”。

  单纯的一种验证方式,比如仅仅人脸识别,或仅仅虹膜识别,都存在绕过的技术,所以业内目前的解决方案是“多因子认证”,就是同时采用两种或两种以上的认证方式。同时欺骗两种认证方式,难度就变得大多了。

  他说。

  2、软件缺陷

  大名鼎鼎的 TensorFlow,是谷歌推出的机器学习系统,人人都可以利用这个平台开发自己的人工智能应用。

  但是,假设这个架构本身就存在漏洞呢?

  韩祖利说:“Tensor有 887万行代码,不仅如此,要运行 Tensor,还需要调用100多个依赖库,其中很多库都是很多年前的“老古董”。这么多代码已经超出了人工审计的工作量,其中一定存在漏洞。”

  这张图表里列举了各大人工智能平台的漏洞情况(点击可以看大图)

  看看上面这张图,就是各大人工智能平台的漏洞表。不用假设,他们就是有漏洞的。

  对于这种漏洞,似乎没有好的方法,就是不断认真审计、查找问题。安全研究员的职责即是在此,至少百度在自家的 Paddle Paddle 人工智能平台上是这么做的。

  3、数据投毒

  说到数据投毒,是AI攻防里最惊心动魄的部分。也是最接近人们想象的一种。

  加州大学伯克利分校的著名人工智能专家 Down Song 算是一个“城会玩”的代表。她在一个写着“STOP”的标牌上,粘贴了几块胶条。人类看起来这根本没什么,但是在自动驾驶的人工智能看来,这就是一个时速45公里的限速牌。

  想象一下,如果你的自动驾驶汽车遇到了这样的标牌,一定会毫不犹豫地冲过去,让你体验从急救车到医院抢救的全套流程。

  韩祖利说,这就是标准的“对抗数据”。

  同样的玩法还有很多,比如日本的一个团队,在每张图片里加上一个像素,就能让人工智能识别产生翻天覆地的错误,直接指鹿为马。(顺便说下,他们搞定的是技术很强的 Face++ 系统。)

  再比如,如果你欠朋友二十万不打算还,就得去做个整容。但是如果想让人脸识别不认识你,只需要这个特殊的发光眼镜。戴上之后,就会被系统认作另外一个人。

  人工智能虽然被叫做人工智能,但其实目前的技术根本达不到人类这种完备的知识体系,所以很多在人看来很 Low 的欺骗方法,就可以轻松“撂倒”它。

  刚才说的,是对抗已经“成年”的人工智能。还有人做得更绝,在人工智能接受数据训练的时候,就直接把“带毒”的数据混进去,这样训练出来的人工智能就带有天然缺陷。

  这就是“数据集投毒”了。

  毕竟,现在的人工智能就像一个小孩子,小孩子往往是很好骗的。

  4、系统安全

  人工智能系统是要跑在操作系统之上的。而这些操作系统每年都会被“白帽子”找到大量漏洞,打上一串儿补丁。前一阶段爆发的 WannaCry 病毒,没打补丁的电脑就遭殃了。

  尤其对于很多携带智能功能的硬件来说,如果操作系统有漏洞不及时补上,就很可能被黑客控制。

  5、网络安全

  和系统安全类似,网络安全也并不是人工智能面对的独特威胁。只要有数据在网络上传输,就存在被黑客截取数据的可能。

  你可能感觉到了,要想搞掉某个人工智能,有很多角度和姿势。其实,所有的安全都是这样:防守的人要守住城墙的每一寸砖,而进攻者只要找到一个点突破就大功告成。这是典型的内线作战和外线作战的区别。不幸,人工智能由于处在进化的顶端,不仅别人面临的威胁它一样不少,除此之外还面临独有的威胁。

  三、百度的人工智能会被攻击吗?

  说了那么多种进攻人工智能的方法,但大多数情况下,这些攻击都不会真实发生。黑客攻击某个系统,还要有一项基本要素,那就是——动机。在现在这个时代,做坏事的动机一般是钱。

  我一直在强调平衡点的概念。这里就是一个例子:当某个产品的用户规模达到一定量级,越过平衡点,在攻击者眼中就具有了价值。所以,百度要重点防御的,就是那些已经或即将有很多用户的产品。

  我觉得百度目前跑在最前面的人工智能产品有两个,分别是“DuerOS 人工智能操作系统”和“Apollo 无人驾驶系统”。果不其然,百度安全事业部总经理马杰在这两个产品上投入的注意力也很多。

  比如搭载了 DuerOS 的渡鸦音箱

  1、先来说说 DuerOS

  DuerOS 是嵌入各种智能硬件中的人工智能操作系统。比如渡鸦音箱、Fill耳机,里面都内嵌了 DuerOS。

  一般情况下,像智能空气净化器、智能音箱、看家机器人这类东西,都会附带很多传感器,例如声音收集、视频采集,而且一般摆在客厅甚至卧室。如果他们被黑客控制,上传一点声音、视频,确实让人很羞愤。。。

  但要防止这些事情发生,只保证 DuerOS本身的安全性远远不够。

  DuerOS 已经有四位数的合作伙伴,但是这些硬件往往是合作伙伴生产的。原则上来说,百度只是人工智能系统提供商,无法控制合作伙伴的硬件安全或者操作系统安全。

  但任何设备出现问题,伤害的都是百度的品牌。所以,我们要尽力帮合作伙伴把其他安全方面也做好。

  马杰说。

  为了不当背锅侠,他们是怎么做的呢?

  组团打怪的人都知道,要解决自己搞不定的事情,一般需要“联盟”。酝酿了大半年,百度终于在2017年底主导推出了 AI 联盟。

  它主要在倡导一套技术标准,包括:安全的 Linux 内核、补丁热修复技术、安全通信协议、身份认证机制、自动攻击拦截五大技术。这几乎涵盖了文章第二部分所说的“人工智能面临的五大威胁”。而这其中有不少技术都是百度首席安全科学家韦韬团队“Xteam”的心水之作。

  这段生词有点多,简单总结,就是百度搞出了一整套人工智能安全方案,可以随 DuerOS 附赠。鉴于现在智能硬件厂商普遍比较低的安全能力,说附赠不太贴切,用马杰的话叫做“强制附赠”——只要使用 DuerOS,就必须采用 AI 联盟认证的安全方案。这样省时省力,皆大欢喜。

  从这个角度说,应用 DuerOS 的硬件,安全性是有底线保障的。

  2、再来说说 Apollo

  李彦宏说,通过Apollo平台实现无人驾驶车量产的时间是2019年。

  目前,作为开源自动驾驶系统的 Apollo 正在按部就班地迭代(懂代码的可以到Github上监督一下他们的进度),而每一次新版本发布前,都是百度安全同学熬夜的季节。因为他们要负责审核代码的安全性,找找里面是否存在漏洞。

  这就是“软件安全”。

  apollo 系统

  人人都喜欢老司机,因为他们“稳”。在自动驾驶世界,人工智能的角色就是司机。Apollo 如果不“稳”,如何齁住秋名山。讲真,无人驾驶安全的重要性,要超过卧室里“上传录音”的净化器。

  无人车是公认人工智能的第一个大战场。从科学规律上来讲,无论是哪个公司的无人车,只有它越普及,才越可能暴露出来安全问题。

  在现阶段,连业内第一梯队的百度无人车都处在研发中,直接脑补《速度与激情8》里的场景,未免有些脱离现实。如果你问我,汽车中的人工智能会面临怎样具体的攻击姿势,最科学的答案就是:我还不知道。

  可以说:对于无人车安全,挑战更大,但时间窗口未到。

  四、我们该用什么姿势来恐惧?

  正如刚才所言,人工智能很多具体的风险可能还未知。而未知天然就会引发恐惧。

  我们是否该纵容自己的恐惧呢?

  文章开头我提到了汽车代替马车的故事,其实这个故事还有更多细节:

  150年前,汽车刚被发明出来,它被认为是怪物。

  那时候伦敦城满街跑的都是马车,从旁边冷不丁杀出一辆汽车,经常会挑战马儿脆弱的小心脏。受惊的马引发了不少事故。汽车本身的安全性也堪忧,翻开一张英国报纸,一张漫画映入眼帘:汽车爆炸,坐车的人血肉横飞。

  用这种危险的玩意儿代替伦敦城优雅又萌萌哒的十万匹马,人们不答应。

  听取了群众的呼声,1858年英国实施了“红旗法”,规定汽车在郊外的限速是4码,市内的限速是2码(你没看错,比走路还要慢),还要在汽车前面有专人步行手持红旗,提示大家“危险将近”。

  你看,今天随处可见的普通汽车,曾经被人当做洪水猛兽一般对待。当时人们的恐惧,在后人看来近乎笑谈。

  随着技术的落地,不断跟进研究,才是对人工智能安全最负责任的态度。就像马杰所说:“最可怕的问题都来源于没有意识到。只要意识到,最终都能解决。”

  除了百度安全的同学,在 BSRC(百度安全应急响应中心)门庭下也有很多白帽子在孜孜不倦地帮百度找到安全问题。所以,和白帽子的合作也是百度人工智能安全重要的部分。

  讲真,即使对于白帽子这样的专业黑客来说,人工智能也是比较陌生的技术。而要研究AI的安全,首先需要了解它。

  在马杰心里,安全人员都有一张“技能表”。各项基础技能,对于找到漏洞是至关重要的。例如 CPU 的架构、系统内核,这些都是高段位白帽子的必备技能。而人工智能,很可能成为“技能表”中下一个重点。

  “无论是用人工智能找漏洞,还是找到人工智能中的漏洞,首先都要对它有充分的了解。而这种学习,越早开始越好。“他说。

  在刚刚结束的BSRC年度盛典上,百度安全还为优秀白帽子们发了奖。今年百度给白帽子的年终奖累计达到百万人民币,还挺多的。

  说回新技术。我们的恐惧也许最终不能改变什么,就像“危险”的汽车最终还是走进了每个人的车库:

  19世纪末,卡尔·本茨发明了内燃机汽车。有一次他载着当地官员上路。由于和“红旗法”类似的法规限制,德国汽车车速不能超过6公里,所以只能龟速前进。

  突然后面一辆马车超了过去,车夫回头大声嘲笑他们。

  官员大怒,对本茨大喊:“给我追上去!”

  本茨故作无奈:“可是政府有规定。。。”

  “别管什么规定!我就是规定!追!”官员大叫。

  闻听此言,本茨一脚油门踩下去。他们的汽车立刻超越了马车,从此,再没有被追上过。

  马杰所言,无外乎八个字:与其恐惧,不如拥抱。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
卢伟冰:最近大家叫我“卢十瓦”,其实是件好事
8月21日消息 小米集团副总裁、红米Redmi 品牌总经理@卢伟冰 发文对“卢十瓦”这个说法作...
日期:08-21
任正非:现在公司处在危亡关头!我们做好“长征”的准备
2019年7月19-20日,任正非于松山湖在运营商BG组织变革研讨会上表示,我们改革的目的是为了简化作战...
日期:08-21
一位嘀嗒顺风车主看到集思会第二期议题后的想法
我是一名嘀嗒的顺风车主,15年就注册了,至今拉了有300多单,算是嘀嗒平台的老人了。眼看着顺风车这...
日期:08-21
营收达263亿元人民币 李彦宏带领百度逆流而上
北京时间8月20日(美国东部时间8月19日),百度公布了2019年第二季度未经审计的财务报告。本季度实现...
日期:08-20
李彦宏的战略眼光让百度逆流而上,2019 Q2财报成绩喜人
8月20日,百度公布2019年第二季度财报,财报显示,百度Q2总营收达263亿元人民币,净利润24亿元人民...
日期:08-20
从懵懂到成熟担当,支付宝首席架构师做了这三件事
7月12日, Discover Ant 实习生夏令营的开营仪式上,支付宝首席架构师王维来到现场,讲述这十年里陪...
日期:08-20
盟主直播创始人裴勇:化身百晓生 舞动直播江湖
引语:古龙小说“百晓生”:一部《兵器谱》,江湖腥风起。裴勇为自己起花名“百晓生...
日期:08-20
华为鲁勇:撬动产业云的技术奇点
云计算成为互联网业务的基础设施是由电商和门户网站业务催生和推动的,“云”如何进一步...
日期:08-20
魅族副总裁:我们采购了一批上等花梨木,猜猜会做啥
8月19日消息 刚刚,魅族科技副总裁@华海良 发文表示,“我们刚采购了一批上等的「花梨木」,猜...
日期:08-19
卢伟冰:Redmi Note 8将首发首卖6400万传感器,充电功率高于“1卢”
8月18日消息 今天上午,红米Redmi 品牌总经理 @卢伟冰 将微博小尾巴换为了Note 8 Android,开始了这...
日期:08-18
陈宁迪:强劲的阿里巴巴继续传奇
尽管中国经济增长放缓,但中国的电商巨头阿里巴巴集团却给出了一份不错的季度财报。
日期:08-18
刘作虎:一切准备就绪  5G时代来了!一加的时代来了!
  (原标题:抢华为苹果三星用户,刘作虎:5G时代一加机会来了)
日期:08-16
两年布局3650家零售云店,张近东的秘诀是什么?
在今年的春节假期,一些农村地区又见“六个纯核桃”、“养粥道”、“正宗...
日期:08-15
雷军:在小米的参与和推动下,中国的山寨机彻底消灭
  (原标题:雷军:小米努力让中国智能手机越来越好,是我们让山寨机彻底灭亡)
日期:08-14
任正非:华为需组建一支无形“铁军”,在3-5年内完成重组以取得最终胜利!
(原标题:任正非:华为需在3-5年内完成重组才能取得最终胜利)
日期:08-13
刘成城:氪空间全生命周期办公服务链条既可相互作用,也可单独成立
氪空间创始人兼董事长刘成城表示,氪空间所打造的新办公的创新理念,已不止是传统办公的固定化服务...
日期:08-13
为什么现在许多人宁愿买二手苹果,也不买华为手机
买苹果还是买安卓,这是很多人都纠结的问题,苹果越来越没创新力,而安卓品牌却越来越让人心动。这...
日期:08-10
华为Mate30这一硬件提前确定:横向线性马达加入华为旗舰全家桶
最近华为的热门消息可谓是不断,基本上隔几天就会有关于华为的一些消息,不管是系统还是硬件可以看...
日期:08-10
卢伟冰又双叒叕怼华为了,红米note8上市能保证不被打脸吗?
这几年国产机的水平越来越高,各大巨头也是各种玩起了怼配置、怼技术、怼造型,最狠的还是总裁之间...
日期:08-10
余承东公布鸿蒙OS四大技术特性:跨终端无缝协同体验
8月9日消息,华为消费者业务首届开发者大会今日举行。华为首次公布了自研操作系统“鸿蒙&rdquo...
日期:08-09
  专栏介绍
贺飞 的专栏
贺飞发表的文章
积分:
自我介绍 :