收缩自编码器

正则自编码器

收缩自编码器(contractive autoencoder，CAE)是一种正则自编码器。它在编码h=f(x)的基础上添加了显示的正则项，鼓励 f 的导数尽可能小，它的惩罚项Ω(h) 是平方Frobenius范数（元素平方的和），作用于与编码器的函数相关偏导数的Jacobian矩阵。

自编码器

自编码器（autoencoder）是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层，可以产生编码（code）表示输入。该网络可以看作由两部分组成：一个由函数表示的编码器和一个生成重构的解码器。

如图1，为自编码器一般结构。通过内部表示或编码将输入映射到输出（称为重构）。自编码器具有两个组件：编码器（将映射到）和解码器（将映射到）。

如果一个自编码器只是简单地学会将处处设置为，那么这个自编码器就没什么特别的用处。相反，我们不应该将自编码器设计成输入到输出完全相等。这通常需要向自编码器强加一些约束，使它只能近似地复制，并只能复制与训练数据相似的输入。这些约束强制模型考虑输入数据的哪些部分需要被优先复制，因此它往往能学习到数据的有用特性。

现代自编码器将编码器和解码器的概念推而广之，将其中的确定函数推广为随机映射和。

数十年间，自编码器的想法一直是神经网络历史景象的一部分。传统自编码器被用于降维或特征学习。近年来，自编码器与潜变量模型理论的联系将自编码器带到了生成式建模的前沿，我们将在第二十章揭示更多细节。自编码器可以被看作是前馈网络的一个特例，并且可以使用完全相同的技术进行训练，通常使用小批量梯度下降法（其中梯度基于反向传播计算）。不同于一般的前馈网络，自编码器也可以使用循环（recirculation）训练，这种学习算法基于比较原始输入的激活和重构输入的激活。相比反向传播算法，再循环算法更具生物学意义，但很少用于机器学习应用。

正则自编码器

编码维数小于输入维数的欠完备自编码器可以学习数据分布最显著的特征。我们已经知道，如果赋予这类自编码器过大的容量，它就不能学到任何有用的信息。

如果隐藏编码的维数允许与输入相等，或隐藏编码维数大于输入的过完备（overcomplete）情况下，会发生类似的问题。在这些情况下，即使是线性编码器和线性解码器也可以学会将输入复制到输出，而学不到任何有关数据分布的有用信息。

理想情况下，根据要建模的数据分布的复杂性，选择合适的编码维数和编码器、解码器容量，就可以成功训练任意架构的自编码器。正则自编码器提供这样的能力。正则自编码器使用的损失函数可以鼓励模型学习其他特性（除了将输入复制到输出），而不必限制使用浅层的编码器和解码器以及小的编码维数来限制模型的容量。这些特性包括稀疏表示、表示的小导数、以及对噪声或输入缺失的鲁棒性。即使模型容量大到足以学习一个无意义的恒等函数，非线性且过完备的正则自编码器仍然能够从数据中学到一些关于数据分布的有用信息。

除了这里所描述的方法（正则化自编码器最自然的解释），几乎任何带有潜变量并配有一个推断过程（计算给定输入的潜在表示）的生成模型，都可以看作是自编码器的一种特殊形式。强调与自编码器联系的两个生成式建模方法是 Helmholtz机的衍生模型，如变分自编码器和生成随机网络。这些变种（或衍生）自编码器能够学习出高容量且过完备的模型，进而发现输入数据中有用的结构信息，并且也无需对模型进行正则化。这些编码显然是有用的，因为这些模型被训练为近似训练数据的概率分布而不是将输入复制到输出。

表达式

在正则自编码器中，其中一种是使用一个类似稀疏自编码器中的惩罚项，

但的形式不同，

这迫使模型学习一个在变化小时目标也没有太大变化的函数。因为这个惩罚只对训练数据适用，它迫使自编码器学习可以反映训练数据分布信息的特征。

这样正则化的自编码器称为收缩自编码器（contractive autoencoder，CAE）。这种方法与去噪自编码器、流形学习和概率模型存在一定的理论联系。

收缩自编码器在编码 h = f(x) 的基础上添加了显式的正则项，鼓励的导数尽可能小：

惩罚项为平方 Frobenius 范数（元素平方之和），作用于与编码器的函数相关偏导数的 Jacobian 矩阵。

含义

去噪自编码器和收缩自编码器之间存在一定联系：在小高斯噪声的限制下，当重构函数将 x 映射到时，去噪重构误差与收缩惩罚项是等价的。换句话说，去噪自编码器能抵抗小且有限的输入扰动，而收缩自编码器使特征提取函数能抵抗极小的输入扰动。

分类任务中，基于 Jacobian 的收缩惩罚预训练特征函数，将收缩惩罚应用在而不是 g(f(x)) 可以产生最好的分类精度。应用于的收缩惩罚与得分匹配也有紧密的联系。

收缩（contractive）源于 CAE 弯曲空间的方式。具体来说，由于 CAE 训练为抵抗输入扰动，鼓励将输入点邻域映射到输出点处更小的邻域。我们能认为这是将输入的邻域收缩到更小的输出邻域。说得更清楚一点， CAE 只在局部收缩——一个训练样本的所有扰动都映射到的附近。全局来看，两个不同的点 x 和 x′ 会分别被映射到远离原点的两个点和。扩展到数据流形的中间或远处是合理的。当惩罚应用于 sigmoid 单元时，收缩 Jacobian 的简单方式是令 sigmoid 趋向饱和的 0 或 1。这鼓励 CAE 使用 sigmoid 的极值编码输入点，或许可以解释为二进制编码。它也保证了 CAE 可以穿过大部分 sigmoid 隐藏单元能张成的超立方体，进而扩散其编码值。

我们可以认为点处的 Jacobian 矩阵能将非线性编码器近似为线性算子。这允许我们更形式地使用 “收缩’’ 这个词。在线性理论中，当的范数对于所有单位都小于等于 1 时，被称为收缩的。换句话说，如果收缩了单位球，他就是收缩的。我们可以认为 CAE 为鼓励每个局部线性算子具有收缩性，而在每个训练数据点处将 Frobenius 范数作为的局部线性近似的惩罚。

正则自编码器基于两种相反的推动力学习流形。在 CAE 的情况下，这两种推动力是重构误差和收缩惩罚 Ω(h)。单独的重构误差鼓励 CAE 习一个恒等函数。单独的收缩惩罚将鼓励 CAE 学习关于 x 是恒定的特征。这两推动力的的折衷产生导数大多是微小的自编码器。只有少数隐藏单元，对应一小部分输入数据的方向，可能有显著的导数。

目标

CAE 的目标是学习数据的流形结构。使很大的方向，会快速改变，因此很可能是近似流形切平面的方向。训练 CAE 会导致 J 中大部分奇异值（幅值）比 1 小，因此是收缩的。然而，有些奇异值仍然比1 大，因为重构误差的惩罚鼓励 CAE 对最大局部变化的方向进行编码。对应于最大奇异值的方向被解释为收缩自编码器学到的切方向。理想情况下，这些切方向应对应于数据的真实变化。比如，一个应用于图像的 CAE 应该能学到显示图像改变的切向量。

实际问题

收缩自编码器正则化准则的一个实际问题是，尽管它在单一隐藏层的自编码器情况下是容易计算的，但在更深的自编码器情况下会变的难以计算。根据 Rifai et al. (2011a) 的策略，分别训练一系列单层的自编码器，并且每个被训练为重构前一个自编码器的隐藏层。这些自编码器的组合就组成了一个深度自编码器。因为每个层分别训练成局部收缩，深度自编码器自然也是收缩的。这个结果与联合训练深度模型完整架构（带有关于Jacobian的惩罚项）获得的结果是不同的，但它抓住了许多理想的定性特征。

另一个实际问题是，如果我们不对解码器强加一些约束，收缩惩罚可能导致无用的结果。例如，编码器将输入乘一个小常数 ϵ，解码器将编码除以一个小常数。随着趋向于 0，编码器会使收缩惩罚项 Ω(h) 趋向于 0 而学不到任何关于分布的信息。同时，解码器保持重构。 Rifai et al. (2011a) 通过绑定和的权重来防止这种情况。和都是由线性仿射变换后进行逐元素非线性变换的标准神经网络层组成，因此将的权重矩阵设成权重矩阵的转置是很直观。

全国各地天气预报查询

上海市

云南省

云南省

云南省

云南省

云南省