欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

Yann LeCun创造的新词"预测学习"将落脚于GANs?

程序员文章站 2022-09-19 17:09:05
Yann LeCun在很多演讲中反复提到一个著名的“蛋糕”比喻:如果人工智能是一块蛋糕,那么强化学习( Reinforcement Learning)是蛋糕上的一粒樱桃,监督学...

Yann LeCun在很多演讲中反复提到一个著名的“蛋糕”比喻:

如果人工智能是一块蛋糕,那么强化学习( Reinforcement Learning)是蛋糕上的一粒樱桃,监督学习(Supervised Learning)是外面的一层糖霜,无监督学习( Unsupervised Learning)则是蛋糕胚。

目前我们只知道如何制作糖霜和樱桃,却不知如何制作蛋糕胚。

Yann LeCun创造的新词"预测学习"将落脚于GANs?

到12月初巴塞罗那的NIPS 2016时,LeCun就开始使用“预测学习”(Predictive Learning)这个新词,来代替蛋糕胚“无监督学习”了。

LeCun在演讲中说道:

我们一直在错过一个关键因素就是预测(或无监督)学习,这是指:机器给真实环境建模、预测可能的未来、并通过观察和演示来理解世界是如何运行的能力。

这是一个有趣的微妙的变化,暗示了LeCun对于“蛋糕”看法的改变。其观点认为在加速AI发展进程之前,有很多的基础性工作要完成。换句话就是,通过增加更多的能力(比如记忆、知识基础和智能体)来建立目前的监督式学习,这意味着在我们能够建造那个“预测性的基础层级”之前,还有很多漫长艰辛的路途要走。

在其最新的NIPS 2016的演讲中,LeCun放出了这么一张PPT,列出了AI发展中的障碍:

Yann LeCun创造的新词"预测学习"将落脚于GANs?

机器需要学习/理解世界是如何运行的(包括物理世界、数字世界、人等,获得一定程度的常识)

机器需要学习大量的背景知识(通过观察和行动实现)

机器需要观察世界的状态(以做出精准的预测和计划)

机器需要更新并记忆对世界状态的估测(关注重大事件,记住相关事件)

机器需要推理和规划(预测哪些行为,会最终导致理想的世界状态)

预测学习,很显然要求其能够不仅在无人监督的情况下学习,而且还能够习得一种预测世界的模型。LeCun正在尝试改变我们对AI的固有分类的原因,或许是在表明,AI离最终的目标还有很多艰辛的路途要走。

最近受雇于苹果的Ruslan Salakhudinov教授曾做过一个关于无监督学习的演讲,在他演示的这张PPT的最右下角,提到了“生成对抗网络”(GANs)。

Yann LeCun创造的新词"预测学习"将落脚于GANs?

GANs由相互竞争的神经网络组成:生成器和辨别器,前者试图产生假的图像,后者鉴别出真正的图像。

GANs系统有趣的特点就是,一个封闭的形状损失函数并不是必须的。实际上,一些系统能够发现自己的损失函数,这是很令人惊喜的。但GANs网络的一个缺点,就是很难训练,这当中需要为一个非合作性的双方博弈,找到一个纳什均衡。

Lecun在一个最近的关于无监督学习的演讲中称,对抗性网络是“20年来机器学习领域最酷的想法”。

Elon Musk所资助的非营利研究组织OpenAI,对生成模型格外偏爱。他们的动力可以总结为理查德·费曼的一句名言“不是我创造的,我就不能理解”(What I cannot create, I do not understand)。费曼这里其实是指“首要原则”(First Principles)思考方法:通过构建验证过的概念来理解事物。

在AI领域,或许就是指:如果一个机器能够生成具有高度真实感的模型(这是一大飞跃),那么它就发展出了对预测模型的理解。这恰好就是GANs所采取的方法。

这些图片都是由GANs系统根据给定词汇生成的。比如,给定词汇有“红脚鹬”、“蚂蚁”、“修道院”和"火山",便生成了如下图像。

Yann LeCun创造的新词"预测学习"将落脚于GANs?

这些生成的图像很令人惊艳,我想很多人类都不会画得这样好。

当然,这个系统也不是完美的,比如下面这些图像就搞砸了。但是,我见过很多人在玩“画图猜词”游戏时画得比这些糟糕多了。

Yann LeCun创造的新词"预测学习"将落脚于GANs?

目前的共识是,这些生成模型并不能准确捕捉到给定任务的“语义”:它们其实并不能理解“蚂蚁”、“红脚鹬”、"火山"等词的意义,但却能很好地进行模仿和预测。这些图片并不是机器基于原有训练图片库的再创造,而是根据通用模型(Generalized Model)所推断出的非常接近现实的结果。

这种使用对抗性网络的方法,异于经典的机器学习方法。我们有两个互相竞争的神经网络,但又好像在共同协作达成一种“泛化能力”( Generalization)。

在经典的机器学习领域,研究人员先定义一个目标函数,然后使用他最喜爱的优化算法。但这当中有一个问题,那就是我们都无法准确得知所定的目标函数是否是正确的。而GANs令人惊喜的地方在于,它们甚至能够习得自己的目标函数!

这里一个迷人的发现就是,深度学习系统可塑性极强。经典的机器学习认为目标函数和约束条件都是固定的观念,或者认为最优算法是固定的观念,此时并不适用于机器学习领域了。而更令人惊喜的是,甚至元级(Meta-Level)方法也能够使用,也就是说,深度学习系统可以学习“如何学习”了(相关论文已经提交到ICLR2017,比如这篇https://openreview.net/pdf?id=Syg_lYixe)。