郑州网站优化,郑州品牌推广,郑州网站建设公司,朗创网络营销欢迎您 ! 联系我们|收藏本站|网站地图

朗创网络

帮助企业快速提升网络营销业绩专注网站建设,SEO关键词排名,一切用数据说话 !

咨询电话:13683819778

您的位置: 朗创网络营销 > SEO资讯 >

谷歌脑:基于元学习的无监督学习更新规则

作者: 未知 来源: 朗创网络营销 发布日期: 2018-08-22 16:42:15
信息摘要:
无监督学习的主要目的之一是为后续任务获得有用的数据分布,从而避免在监督训练过程中对数据进行标记的繁琐步骤。 通常,这个目标是通过定义成本函数来最小化估计的参数,例如
无监督学习的主要目的之一是为后续任务获得有用的数据分布,从而避免在监督训练过程中对数据进行标记的繁琐步骤。

通常,这个目标是通过定义成本函数来最小化估计的参数,例如负对数似然(NLL)生成模型来实现的。

作者:Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl Dickstein

提出了一种基于元学习的无监督学习更新规则,利用元学习技术学习无监督权值更新规则,在小样本分类任务中表现良好。

此外,我们将无监督学习更新规则约束为生物机制的局部神经元函数,从而推导出一种新的神经网络结构。

基于元学习的无监督学习更新规则可以概括为具有不同宽度、深度和非线性的训练网络,它还可以训练具有随机排列的输入维数的数据,甚至从一组相对复杂的图像数据推广到文本任务。

下表列出了在论文中已经发表的元学习方法,并在选择不同的任务类型、元学习结构、元架构和域方面做了全面的比较。

我们使用多层感知器(MLP)F()t)以参数t为基本模型。元学习过程的内环通过迭代使用学习优化器来训练。下面的图表显示了模型结构。

在标准监督学习中,学习优化过程是随机梯度下降(SGD),监督损失函数L(x,y)与此模型有关,其中x是小样本输入,y是相应的标签。将基础模型T的参数更新为收敛性,监督更新规则可以写成:

在传统的无监督学习算法中,专家知识或简单的超参数搜索决定了θ,包括学习速率和正则化常数等一些元参数,而我们的更新规则具有更多的数量级,如神经网络的权值。在元目标上执行SGD来训练这些元参数,以便找到最佳参数θ,并最小化一组训练任务的元目标。

考虑θ的高维性质,本文采用截断BP算法评价{TeaObjult}/Teeta优化参数θ,采样步长总数和无监督训练步长各截断,以限制截断引入的潜在偏差。

限制最大内循环步长对优化器的稳定性非常重要,如果学习速率不受限制,优化器的学习速度将迅速增加并进入混沌区域。

当学习优化器被使用时,特别是在学习优化器元训练的初始阶段,学习优化器很容易在基本模型中产生高方差权重。批量范数可以通过增加权重空间来解决这个问题。

本文的学习优化器的泛化来自非监督更新的形式和元训练分布,并且还训练了数据集和基本模型体系结构的分布。

本文构建了一个由CIFAR10组成的训练任务,ImageNet的子集和由渲染字体组成的数据集。

我们发现,增加训练数据集的变化有助于优化过程。为了减少计算量,我们将输入数据大小限制为小于16x16像素,并相应地调整所有数据集的大小。

在预处理中,根据特征维数对所有输入进行转置,使得无监督更新可以学习置换不变学习规则。

为了增加数据集的变化,我们还通过移位、旋转和噪声来扩展数据集,并使用这些增强系数作为元目标的附加回归目标,例如旋转图像和预测旋转角度和图像类别。

本文研究了现有的无监督学习和元学习方法的局限性,给出了学习优化器的元训练和泛化特性,最后阐述了学习优化器的工作原理。

虽然变分自动编码器(VAE)的分类精度随着训练步长的增加而增大,但在训练后期的分类精度会下降,这是由目标函数的不匹配所引起的,如类。在下面的图表中的中小型样品的化验结果。

在训练过程中,通过对所有数据集、模型结构和算法扩展步骤进行平均,来监测元目标的移动平均值,如下图所示。

在上面的图片中,经过200小时的训练,训练损失减少,表明近似训练算法可以有效地学习。为了获得全局参数,我们在各种训练集和测试集上运行学习优化器,如右图所示。如IMANET、MNIST和时尚MNIST等评估损失减少,在IMDB等训练数据集中存在过拟合现象,因此在200小时后的元训练中,使用元参数θ进行无监督更新。

我们的第一个推广是数据集,在下面的图中,在学习模型中嵌入了像素后验分布的变分自编码器,并且通过监督学习来比较小样本分类(每类10个样本)的性能,如下面的图所示。e.

在上面的图像中,我们在同一标签数据集上学习的更新规则比小样本分类的随机初始化或变分自编码器的输出产生更多的表达能力。

为了进一步探索优化器的泛化能力,我们使用二进制文本分类数据集IMDB电影评论来训练学习优化器,IMDB电影评论通过计算包含1000个单词的单词袋来编码。

我们使用该模型训练了30小时和20太原seo0小时来评估元训练的效果,虽然只有图像数据被用于训练,但是30小时学习优化器比随机初始化的优化器提高了近10%的识别精度。

我们要概括的下一个属性是神经网络结构,我们使用学习优化器来训练具有不同深度和单位计数的模型,并在不同时间点比较结果,如下图所示。结果表明,虽然只有2-5层网络。每层训练64-512个单元,学习规则可推广到11层,每层10个单元000个。

接下来,我们将考察模型在不同激活函数上的泛化,将学习优化器应用到一个具有许多不同激活函数的基本模型中,在下图中可以看到训练过程中不同点的性能评价。

虽然在训练中只使用Relu激活函数,但是我们的学习优化器在所有情况下都比随机初始化更好。

为了理解算法的学习过程,我们在学习优化器中输入了两个月数据集,虽然它是二维数据集,但与元训练中使用的图像数据集不同,学习模型仍然可以识别完全无监督生成的数据集。方式,如下图所示。

以上是学习优化器分类后的可视化结果,输入数据集分别为月亮和MNIST,学习算法可以对未标记数据进行分类,可视化结果表明PCA和第一三个SelpII的降维结果。选择PAL组件进行显示。

提出了一种基于元学习的无监督学习更新规则。实验结果表明,该算法优于现有的无监督学习算法,并且更新规则可以训练不同宽度、深度和激活函数的模型。

咨询热线

13683819778