黑客王琦：教会人工智能骂脏话 是黑掉它的第一步
王琦深鞠一躬，台下掌声回荡。
【王琦】
受访、演讲 | 王琦，花名大牛蛙，GeekPwn 创办人。
文 | 史中，雷锋网主笔，希望用简单的语言解释科技的一切。
GeekPwn，这个中国最著名的黑客大赛落幕。中国顶尖的黑客用一场场破解秀填满了剧场，而剧场坐落在这艘游轮中，游轮飘荡在南中国海。
黑客王琦曾经一手创办了微软中国应急响应中心，又拉起了名震江湖的 KEEN Team 安全研究团队。四年前，他立志要做中国最酷的黑客大赛，要让那些曾经因为买不起车房而遭受岳母白眼的黑客们找回尊严。为此，他改组了如日中天的 KEEN Team。
在智能硬件炙手可热的时候，黑客在 GeekPwn 上一次黑掉数十枚摄像头，让他们随着口令摆动窥探。这些摄像头的舞蹈如一个浅显的寓言，然而却一语成谶两年之后的2016年，黑客控制几十万摄像头攻击了美国沿海地区，半壁国土断网数小时，造成20亿美元损失。
被无视几乎是先驱的宿命。更何况，他们只是在硬件厂商眼里的一帮搞“鸡鸣狗盗”的黑客。
但这不要紧，你在各种媒体上看到的王琦，永远是双眼放光，嘴唇微张，一手持话筒，一手指向空中，不激动也不潦草。他似乎还远没有气馁，而就在今天谢幕之前，王琦不急不缓地走上舞台，说出了也许是这次2017 GeekPwn 年中赛最精彩的一个预言。
AI 将会成为黑客攻击的对象，AI 将会成为黑客攻击的武器。
以下是王琦的演讲全文，雷锋网做了不改变原意的精编：
我们先做这样一个测试（看PPT图片）。左边是一只猫，右边有两句话。如果你看到这张图你会怎么理解？你问一个人还是一个机器会得出不一样的答案。
小明：我不是很确定，但是我认为碗里是一只猫。
小花：乍一看，我以为是一杯卡布奇诺。
右边这两句话分别是我们输入这个图片以后，人和人工智能机器说的。你们认为小明是机器人，还是认为小花是机器人？
我公布一下答案，其实小明是机器人。因为在这个判断里面，小明没有经过图灵测试。
为什么要提到这一点呢？我们 GeekPwn（极棒）现在在AI 领域，主要是视觉这一块做了一些事情。本来今天的项目里面有一个“无人驾驶汽车攻击”如何让无人驾驶汽车识别一个错误的东西，不过很遗憾这个项目在比赛前两天选手选择了退出。
我想跟大家说，我们现在提出的 AI 安全挑战是面临争议的。
计算机视觉发展了这么多年，很难。到现在来说也发展得并不好。为什么计算机视觉这么难？
▲上图为一家人躺在沙发上的图片
从1956年开始，最早人们做计算机图片识别的时候，机器只是懂得0和1，读像素还是用数字。比如说这张图，我们看到旁边是沙发的边缘，但是当时对机器来说就很难；让机器标注出来这是一只狗而不是沙发靠垫，更难。正常人看到这个图片是一家人看电视，但是 AI 理解不到这一点。如果我们提一个问题，计算机你看到什么了？你看到前面的小屁孩衣服是什么颜色？它就更难去做了。
现在计算机视觉识别在标注方面不错了，发展得非常迅速。知道哪个是狗，哪个是人了。之所以计算机视觉在 AI 发展里面扮演这么重要的角色，因为人的大脑70%的信息都是来自于视觉。
▲谷歌猫
这其中必须要提到一点的是谷歌猫的事情。借助“谷歌大脑”，在没有任何培训和指令的情况下，就可以利用内在算法从海量数据中自动提取信息，学会如何识别猫。也就是说，2012年谷歌计算机已经实现了无标签的输入。2012年到2014年这个时期内，计算机视觉识别率也一直提升，2012年27%的错误率，2014年只有3.5%的错误率，而同样条件下人的错误率是4%。也就是说现在 AI 识别图象的能力基本和人相当。
这其实就是完全借助了深度学习的方式。深度学习这是一个统称，包括像阿尔法狗，卷积神经网络都用了深度学习其中的一个模型。
谷歌猫使用了深度学习技术
这是特斯拉最新的自动驾驶，它标注车、物体都非常地准确，这是非常令人兴奋的应用。但是站在黑客的角度，我们想到了一些事情。大家知道在极棒现场，包括我们安全领域都是在黑掉汽车方面做过一些事情的。
但是，我们黑掉一个 ATM 机和黑掉一个 PC 没有什么区别；我们黑掉无人机和手机也差别不大。我们能否有更酷的方法？你可以看到这辆车行驶的过程中旁边有一个穿白衣服的人。成熟的系统当然认为那是一个人，但是不是我们能够欺骗它，让它认为是一个树桩或是消防拴？如果有人能这样黑掉的话，我特别欢迎。2016年的时候，极棒美国硅谷专场的时候有专家在这方面做了一些研究。
我们调查的时候发现，做 AI 的人对安全的了解不太多，做安全的了解 AI 也不太多。我们去年找到了在谷歌工作的Ian Goodfellow，他验证了我们的想法，他现在做出的这个结果和我们想要的结果类似。我们发现其实人工智能的模型都非常类似：通过大量的学习样本，深度学习作出决策，这是人工智能的学习方法。于是我们挖漏洞的过程就是：
生成大量的样本，交给软件，改变数据流程，最后导致一个错误的决策。
通过这样一个模型，Ian到我们的现场展示了另外一个东西。他在一个离线的状态下，利用了猜测机器学习的过程。
人眼看到的这是一只狗，随便掌握人工智能的系统都可以把它识别成一只狗。
但是这个图经过修整，就骗过了很领先的识别系统，很多系统坚持认为这是一只鸵鸟。
还有一个这张噪点图片，识别系统坚持认为它是一只熊猫。
除了图像识别之外，语音识别同样有这样的威胁。
去年微软推出了人工智能聊天机器人。但是，刚推出一天它就开始说脏话。在它学习了半天的时候，看到很多人跟它说脏话，它认为这是人跟人之间正常的交流沟通方式。
▲微软的聊天机器人 Tay
所以我觉得，到了人工智能时代，人人都可能成为黑客。互联网时代的代表是搜索引擎，搜索结构被污染还是需要技术的，但微软机器人被污染不需要技术和代码，只需要你对它说脏话。
我一直把现在攻破的智能设备很不客气定义为伪智能，它只是替代了我们的手和脚，还不能代替思考。弱智能时代总有一天会变成强智能、超强智能时代。那一天来临的时候，是不是要让它安全的为人类服务呢？
刚才我说了图象和语音，其实我还想再举个例子。
▲上图为人打掉机器狗正在搬运的东西， 通过各种“虐待”来提高机器狗的运输可靠性和反应能力。
大家知道这个波士顿动力出的机器狗。波士顿动力是不同于图象和语音的智能，这是一种行为智能。行走的过程中学习生物保持自身平衡。
看看这个机器狗是怎么被训练的。用脚踹让它维持平衡，为难它。大家也许觉得这个人很恶心，机器狗很可怜。但我们从黑客的角度看到了就脊背发凉。如果这个机器人觉得踹一脚或是给别人一拳是正常的呢？
▲超能查派
有一个电影《超能查派》，这个小机器人刚做出来就被劫匪抢了，他出来以后觉得戴着粗金链子拿着这枪抢钱是正常的工作。我希望如果时代的发展，从伪智能到弱智能到强智能。真的走到哪一天，我们有义务让 AI 为我们安全地服务。
也许有人认为我是杞人忧天，但我认为恰恰相反。
AI 的决策错误现在通常被理解为仅仅是错误。但是安全领域里的经验告诉我们：现在的安全漏洞在很多年前也仅仅是错误，用黑客思维理解，就会明白很多错误其实就是可以利用的漏洞。
有人认为黑客思维对 AI 没有实质性帮助，我认为恰恰相反。
AI 之父图灵在二战的时候，也就是提出“机器会思考吗”的十年前，也是一名典型的黑客角色。黑客的逆向思考可能会帮助当前 AI 正向模拟神经网络中遇到的困难。
今年10月24日极棒大赛的时候，我们会公布新规则。有两个部分，一个是PWN AI，一个是AI PWN。左边是把人工智能干掉，也就是欺骗；右边是用人工智能干掉一些东西。
2014 年有个人在美国 Blackhat 上公布一个技术，在几十米外看到一个人输入密码键盘，从行为上就可以判断出他输的密码是多少。他的论文没有用到人工智能的部分，于是我们和人工智能的专家进行了沟通，如果输入一堆密码，通过机器学习的方法判断我输入的是什么密码无论是单指是双指输入去破坏掉安全，我们也欢迎这样的黑客。
如果我们利用自己的特长，能够未雨绸缪提前做一些事情，帮助 AI 正常的发展，非常有意义。这一步可能走得有点早，但我觉得只要走得早，一定有大收获。
小结
王琦觉得，“脑洞大开”是黑客大赛的使命。
为此，他已经把战场搬到了在公海飘荡的游轮之上。
王琦回忆起第一届 GeekPwn 破解秀，在彼时用各种姿势攻破智能硬件可谓奇思妙想。但他坦诚地告诉雷锋网(公众号：雷锋网)：
近些年 GeekPwn 上的项目确实创新不足。中国黑客在智能硬件上最 Low 的漏洞都可以超越美国人一大截，但大多都局限在“命题作文”。如果不去提示，很多人就不会去尝试新的破解领域。所以，十月的 GeekPwn 大赛我准备把主场放到美国，在中国我也要去主动划定新的研究目标。
带领一帮本身就领先于时代的黑客们去尝试，未尝不是一件辛苦的事。但这几乎是他唯一的使命和选择。
据此，AI 可能就是 GeekPwn 的下一个靶心。
本文作者史中（微信：Fungungun），雷锋网主笔，希望用简单的语言解释科技的一切。