2016年机器学习和人工智能的主要进展是什么？

该问题目前共有四人作答。

Xavier Amatriain，曾经是研究员，现在带领ML和工程团队

更新于周一。我曾经带领Quora工程师团队研究ML / NLP问题，而Nikhil Dandekar曾在微软、Foursquare和Quora从事机器学习的相关工作。

2016年可以说是“机器学习炒作”的一年。几乎每个人都在研究机器学习，要么就正打算收购研究机器学习的创业公司。

目前来看，“炒作”的原因有很多。你能相信自Google宣布开放采购Tensor Flow才只有一年？TF已经成为一个非常成熟的项目，应用于多个领域，从药物发现到音乐制作都有所涉及。Google并不是唯一一家将自己的ML软件开源的公司。微软开源了CNTK，百度推出了PaddlePaddle，亚马逊刚刚宣布他们将在新的AWS ML平台上推出MXNet。Facebook同时在维护两个深度学习的框架：Torch和Caffe。另一方面，Google也支持非常成功的Keras。

除了“炒作”，很多公司也开始支持机器学习开源项目，2016年还出现了机器学习的大量应用，这在几个月前是难以想象的。让我印象特别深刻的是Wavenet生成的音频的质量。因为过去我也曾经研究过类似的问题，所以我对如此高的音频质量会感到惊异。当然还有唇语阅读的最新进展，视频识别的伟大应用，这些应用在不久的将来可能是非常有用的（但也可能是可怕的）。还有Google在机器翻译方面取得的巨大进步。

事实上，在过去一年中，机器翻译并不是机器学习语言技术中唯一有趣的进步。最近，一些结合深层顺序网络和边信息以产生更丰富语言模型的方法也很有意思。在“神经知识语言模型”中，Bengio的团队将知识图与RNN结合，在《大规模NLP任务的上下文LSTM模型》中，DeepMind开始转向研究LSTM模型。在建模语言模型的注意力和记忆方面也有许多有趣的成果，比如说在今年ICML中出现的《向我问任何事：NLP的动态内存网络》。

此外，我应该提及一下2016年在巴塞罗那的NIPS。但很遗憾，我错过了在我家乡举办的会议。据我所知，会议上两个最热门的话题可能是生成式对抗网络（包括Ian Goodfellow非常受欢迎的教程）和概率模型与深度学习的组合。

我还想说一下我的专业领域的一些进步：推荐系统。当然，深度学习也影响了这一领域。虽然我仍然不建议将DL作为推荐系统的默认方法，但研究推荐系统是如何大规模地在实际中应用，甚至应用在Youtube这样的产品上还是非常有趣的。也就是说，在该领域有一些有趣的研究与深度学习无关。今年，ACM Recsys的最佳论文奖授予《用于Top-N推荐的本地项目模型》，这是使用初始无监督聚类步骤对稀疏线性方法（即SLIM）的有趣扩展。此外，《用于CTR预测的现场感知因子分解机器》描述了Criteo CTR预测Kaggle挑战的获胜方法，在ML工具包中，分解机器仍然是一个很好的工具。

关于机器学习在过去12个月里的影响和进步的例子，我还能列举几个段落。请注意，我甚至还没有列出任何关于图像识别或深加强学习领域的相关突破，或具体的应用，如自动驾驶汽车、聊天机器人或游戏，这些都是在2016年取得的巨大进步。更不要说关于机器学习是否可能对社会有负面影响的争论，以及关于算法偏差和公平性的讨论等。

更新：

我还应该说明，大多数这些进展可能在几年前由Schmidhuber出版。但是，至少在今年才刊登在《纽约时报》上！

Tapabrata Ghosh，深度学习不是炒作。我知道…

写于上周六

我能想到的有：AlphaGo、基于RL的神经弓搜索、learning to play in a day、wavenet、pixelCNN / RNN、即插即用生成网络、StackGAN。我觉得我说得不全，希望其他人能帮我补充一下。

Corrin Lakeland，在Loyalty工作

写于周一

深度信念网络在2016年发展飞速。之前它很难在实践中应用，但现在多个免费图书馆和教程使得它的应用变得非常容易。

例如，TensorFlow技术是2015年下半年发布的，但在整个2016年，公司对该技术进行了完善。还有，OpenAI最近发布了平台“Universe”。

Andy Kamath，我喜欢机器学习

写于周二

虽然我要说的这个进展不是在2016年，而是在2015年（11月），但我认为它同样重要。

Tensorflow开源了。TF是一个机器学习系统，它负责大部分（如果不是全部）Google的ML系统。它在2015年11月5日开源，数百万数据科学家因此获得了一个强大的深度学习工具。

我认为这个进展是最重要的，因为存储库现在是Github上排名前20的最有名的存储库，拥有超过4万颗星和18700个请求。事实上，这样惊人的实用程序是人工智能和机器学习的世界性标志之一，现在它能公开可用是一个相当大的进步。