AutoML与NAS
https://blog.csdn.net/jacke121/article/details/97963336
AutoML和神经架构搜索（NAS），是深度学习领域的新一代王者。
这些方法能快糙猛地搞定机器学习任务，简单有效，高度符合当代科技公司核心价值观。
它们背后原理如何，怎样使用？
技术博客TowardDataScience有一篇文章，就全面介绍了关于AutoML和NAS你需要了解的一切。
NAS
要了解AutoML，还得从NAS说起。
在开发神经网络的过程中，架构工程事关重大，架构先天不足，再怎么训练也难以得到优秀的结果。
当然，提到架构，很多人会想到迁移学习：把ImageNet上训练的ResNet拿来，换个我需要的数据集再训练训练更新一下权重，不就好了嘛！
这种方法的确也可行，但是要想得到最好的效果，还是根据实际情况设计自己的网络架构比较靠谱。
设计神经网络架构，能称得上机器学习过程中门槛最高的一项任务了。想要设计出好架构，需要专业的知识技能，还要大量试错。
NAS就为了搞定这个费时费力的任务而生。
这种算法的目标，就是搜索出最好的神经网络架构。它的工作流程，通常从定义一组神经网络可能会用到的“建筑模块”开始。比如说Google Brain那篇NasNet论文，就为图像识别网络总结了这些常用模块：
其中包含了多种卷积和池化模块。
论文：Learning Transferable Architectures for Scalable Image Recognition
地址：https://arxiv.org/pdf/1707.07012.pdf
NAS算法用一个循环神经网络（RNN）作为控制器，从这些模块中挑选，然后将它们放在一起，来创造出某种端到端的架构。
这个架构，通常会呈现出和ResNet、DenseNet等最前沿网络架构一样的风格，但是内部模块的组合和配置有所区别。一个架构的好坏，往往就取决于选择的模块和在它们之间构建的连接。
接下来，就要训练这个新网络，让它收敛，得到在留出验证集上的准确率。这个准确率随后会用来通过策略梯度更新控制器，让控制器生成架构的水平越来越高。
过程如下图所示
这个过程很直观了。简单来说，很有小朋友搭积木的风范：让一个算法挑出一些积木，然后把它们组装在一起，做成一个神经网络。训练、测试，根据这个结果来调整选积木的标准和组装的方式。这个算法大获成功，NasNet论文展现出非常好的结果，有一部分原因是出于他们做出的限制和假设。
论文里训练、测试NAS算法发现的架构，都用了一个比现实情况小得多的数据集。当然，这是一种折衷的方法，要在ImageNet那么大的数据集上训练验证每一种搜索结果，实在是太耗费时间了。
所以，他们做出了一个假设：如果一个神经网络能在结构相似的小规模数据集上得到更好的成绩，那么它在更大更复杂的数据集上同样能表现得更好。
在深度学习领域，这个假设基本上是成立的。
上面还提到了一个限制，这指的是搜索空间其实很有限。他们设计NAS，就要用它来构建和当前最先进的架构风格非常类似的网络。
在图像识别领域，这就意味着用一组模块重复排列，逐步下采样，如下图所示：
这些模块也都是当前研究中常用的。NAS算法在其中所做的新工作，主要是给这些模块换个连接方式。
下面，就是它发现的ImageNet最佳神经网络架构：
架构搜索的进展
这篇NASNet论文带动了行业内的一次进步，它为深度学习研究指出了一个全新方向。
但是，用450个GPU来训练，找到一个优秀的架构也需要训练3到4天。也就是说，对于除了Google之外的普通贫民用户们，这种方法还是门槛太高、效率太低。
NAS领域最新的研究，就都在想方设法让这个架构搜索的过程更高效。
2017年谷歌提出的渐进式神经架构搜索（PNAS），建议使用名叫“基于序列模型的优化（SMBO）”的策略，来取代NASNet里所用的强化学习。用SMBO策略时，我们不是随机抓起一个模块就试，而是按照复杂性递增的顺序来测试它们并搜索结构。
这并不会缩小搜索空间，但确实用更聪明的方法达到了类似的效果。SMBO基本上都是在讲：相比于一次尝试多件事情，不如从简单的做起，有需要时再去尝试复杂的办法。这种PANS方法比原始的NAS效率高5到8倍，也便宜了许多。
论文：Progressive Neural Architecture Search
地址：https://arxiv.org/pdf/1712.00559.pdf
高效神经架构搜索（ENAS），是谷歌打出的让传统架构搜索更高效的第二枪，这种方法很亲民，只要有GPU的普通从业者就能使用。作者假设NAS的计算瓶颈在于，需要把每个模型到收敛，但却只是为了衡量测试精确度，然后所有训练的权重都会丢弃掉。
论文：Efficient Neural Architecture Search via Parameter Sharing
地址：https://arxiv.org/pdf/1802.03268.pdf
因此，ENAS就要通过改进模型训练方式来提高效率。
在研究和实践中已经反复证明，迁移学习有助在短时间内实现高精确度。因为为相似任务训练的神经网络权重相似，迁移学习基本只是神经网络权重的转移。
ENAS算法强制将所有模型的权重共享，而非从零开始训练模型到收敛，我们在之前的模型中尝试过的模块都将使用这些学习过的权重。因此，每次训练新模型是都进行迁移学习，收敛速度也更快。
深度学习新方法AutoML
很多人将AutoML称为深度学习的新方式，认为它改变了整个系统。有了AutoML，我们就不再需要设计复杂的深度学习网络，只需运行一个预先设置好的NAS算法。
最近，Google提供的Cloud AutoML将这种理念发挥到了极致。只要你上传自己的数据，Google的NAS算法就会为你找到一个架构，用起来又快又简单。
AutoML的理念就是把深度学习里那些复杂的部分都拿出去，你只需要提供数据，随后就让AutoML在神经网络设计上尽情发挥吧。这样，深度学习就变得像插件一样方便，只要有数据，就能自动创建出由复杂神经网络驱动的决策功能。
△ 谷歌云的AutoML pipeline
不过，AutoML价格也并不算亲民，每小时收费20美元。此外，一旦你开始训练，则无法导出模型，并且得用谷歌提供的API在云上运行你的网络，这些限制看起来都不是很方便，
AutoKeras也是一个使用了ENAS算法的GitHub项目，可以使用pip安装。它是用Keras编写的，因此很容易控制和使用，甚至可以自己深入研究ENAS算法并尝试进行一些改动。
如果你喜欢用TensorFlow或者Pytorch，也有一些开源项目可用：
https://github.com/melodyguan/enas
https://github.com/carpedm20/ENAS-pytorch
总的来说，若你想使用AutoML，现在已经有很多不同的选择，这完全取决于你是否会使用你想要的算法，以及你对这件事的预算如何。
AutoML和NAS未来会怎样？
过去几年，在深度学习工作的自动化上，整个领域都在大步向前，让深度学习更贴近大众、更易用。
不过，进步的空间永远都有。
架构搜索已经越来越高效了，用ENAS，一个GPU一天就能找出一种新的网络架构。的确鹅妹子嘤，但是这个搜索空间依然非常有限，而且，现在NAS算法所用的基本结构和模块还是人工设计的，只是将组装的过程自动化了。
将来要想取得重大突破，在更广阔的搜索范围里搜索真正的新架构是一个重要方向。
如果这样的算法出现，甚至能为我们揭示庞大复杂深度神经网络中隐藏的秘密。
当然，要实现这样的搜索空间，需要设计出更高效的算法。
最后，附上原文传送门：
https://towardsdatascience.com/the-end-of-open-ai-competitions-ff33c9c69846
这篇文章全面介绍了用来自动寻找神经网络架构的AutoML，量子位之前还介绍过很多深度学习其他工作的自动化框架，比如自动特征工程、自动调参等等。
<li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
<use xlink:href="#csdnc-thumbsup"></use>
</svg><span class="name">点赞</span>
<span class="count">2</span>
</a></li>
<li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{"mod":"popu_824"}"><svg class="icon" aria-hidden="true">
<use xlink:href="#icon-csdnc-Collection-G"></use>
</svg><span class="name">收藏</span></a></li>
<li class="tool-item tool-active is-share"><a href="javascript:;"><svg class="icon" aria-hidden="true">
<use xlink:href="#icon-csdnc-fenxiang"></use>
</svg>分享</a></li>
<!--打赏开始-->
<!--打赏结束-->
<li class="tool-item tool-more">
<a>
<svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
</a>
<ul class="more-box">
<li class="item"><a class="article-report">文章举报</a></li>
</ul>
</li>
</ul>
</div>
</div>
<div class="person-messagebox">
<div class="left-message"><a href="https://blog.csdn.net/jacke121">
<img src="https://profile.csdnimg.cn/3/7/5/3_jacke121" class="avatar_pic" username="jacke121">
<img src="https://g.csdnimg.cn/static/user-reg-year/1x/10.png" class="user-years">
</a></div>
<div class="middle-message">
<div class="title"><span class="tit"><a href="https://blog.csdn.net/jacke121" data-report-click="{"mod":"popu_379"}" target="_blank">ShellCollector</a></span>
</div>
<div class="text"><span>发布了2637 篇原创文章</span> · <span>获赞 954</span> · <span>访问量 520万+</span></div>
</div>
<div class="right-message">
<a href="https://bbs.csdn.net/topics/395531331" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-messageboard">他的留言板
</a>
<a class="btn btn-sm bt-button personal-watch" data-report-click="{"mod":"popu_379"}">关注</a>
</div>
</div>
</div>