usdt充币教程(www.6allbet.com):谷歌大脑最新研究:用AutoML的方式自动学习Dropout模式,再也不用手动设计

allbet登陆网址

欢迎进入allbet欧博官网(www.ALLbetgame.us)。allbet欧博官网开放ALLBET欧博真人客户端、Allbet代理网页版、Allbet会员网页版、Allbet会员注册、Allbet代理开户、Allbet电脑客户端下载、Allbet手机版下载等业务。

原题目:谷歌大脑最新研究:用AutoML的方式自动学习Dropout模式,再也不用手动设计

鱼羊 发自 凹非寺

量子位 报道 | 民众号 QbitAI

深度神经网络往往存在过拟合的问题,需要Dropout、权重衰减这样的正则化方式的加持。

而最近的研究解释,若是对Dropout“剪掉”的神经元的结构举行行使,就能实现比随机替换更好的效果。

问题是,现实应用中,针对差别的问题,行使结构的方式需要人工设计,对Dropout的模式举行调整,泛化能力不足。

那么,是否能设计一种针对CNN、Transformer这样的深度神经网络,自动学习Dropout模式的方式?

现在,谷歌大神Quoc V. Le的团队,就提出了一种名为 AutoDropout的方式。

相关论文已经入选AAAI 2021。

将设计Dropout模式的历程自动化

AutoDropout的主要目的,就是将设计针对专门场景的Dropout模式这件事自动化。

研究人员为此设计了一个新的结构化Dropout模式的搜索空间。这个搜索空间席卷了许多现有的Dropout模式。

不妨先以CNN为例,来看一下该方式是若何实现的。

CNN中的Dropout模式搜索空间

在CNN中,搜索空间的基本模式是一个延续的矩形,矩形经由平铺,就会发生一个Dropout模式。

界说矩形的超参数,是高度和宽度;而界说平铺的超参数,是步幅和重复次数。

除了对矩形举行平铺之外,还需要将两个几何变换引入搜索空间:围绕空间中央旋转,沿着每个空间维度举行剪切。

在获得dropout模式之后,研究人员将其应用于批量归一化层的输出——凭据研究人员的履历,在网络的其他地方举行应用,往往会导致搜索历程中训练的不稳定。

若是CNN中存在残差毗邻, 控制器则会进一步判断,是否把dropout模式应用到残差分支中。

控制器模子和搜索算法

AutoDropout的控制器是通过强化学习来训练的。

控制器现实上是一个Transformer网络。该网络天生token以形貌Dropout模式的设置。

如下图所示,对于CNN中的每一层,都需要8个token来建立Dropout模式。

不外,这样搜索算法可能需要破费大量的时间举行训练,为此,研究人员也举行了并行性方面的改善事情。

Transformer中的Dropout模式搜索空间

这样的方式同样适用于Transformer。

,

usdt币游

欢迎进入usdt币游网址(Allbet Gaming):www.aLLbetgame.us,欧博allbet网址开放欧博allbet网址、会员注册、代理开户、电脑客户端下载、苹果安卓下载等业务。

,

与CNN中最大的差别在于,搜索空间中的dropout模式可以天真地应用于Transformer层的多个子层,好比query、key、value、softmax、输出投影和残差等。

因此,研究人员针对每一个子层,各自应用了自力的dropout模式。

实验效果

为了验证AutoDropout的效果,研究人员分别在CNN和Transformer模子中应用了AutoDropout。

对于CNN,主要应用在有监视图像分类义务和半监视图像分类义务。

对于Transformer,主要思量语言模子和机器翻译。

可以看到,在CIFAR-10和ImageNet上,AutoDropout都有用改善了SOTA模子的效果,而且优于DropBlock等需要人工介入的方式。

而与使用Variational Dropout方式训练的Transformer-XL模子相比,AutoDropout同样带来了更好的显示。

不外,研究人员也提到,AutoDropout的瑕玷是搜索成本很高。

有关作者

本文有两位作者。

Hieu Pham,谷歌大脑和卡内基梅隆大学配合培育的博士生,本科毕业于斯坦福大学。

另一位作者是Quoc V. Le大佬。他是吴恩达的学生,Google Brain的创立者之一,也是谷歌AutoML项目的幕后英雄之一。

传送门

https://arxiv.org/abs/2101.01761

加入AI社群,拓展你的AI行业人脉

量子位「AI社群」招募中!迎接AI从业者、关注AI行业的小伙伴们扫码加入,与 50000+名密友配合关注人工智能 行业生长&手艺希望

վ'ᴗ' ի 追踪AI手艺和产物新动态

一键三连「分享」、「点赞」和「在看」