Supervised learning has been at the forefront of research in 计算机视觉以及过去十年的深度学习.

在监督学习环境中，需要人工对大量数据集进行标注. 然后, 模型使用这些数据来学习数据和标签之间复杂的潜在关系，并开发预测标签的能力, 根据数据. 深度学习模型通常需要大量数据，需要大量数据集才能实现良好的性能. 不断改进的硬件和大型人工标记数据集的可用性是深度学习最近取得成功的原因.

监督式深度学习的一个主要缺点是，它依赖于大量人工标记的数据集进行训练. 这种奢侈并不是在所有领域都可用，因为获得专业人员注释的大型数据集可能在逻辑上很困难，而且非常昂贵. While the acquisition of labeled data can be a challenging and costly endeavor, we usually have access to large amounts of unlabeled datasets, 尤其是图像和文本数据. 因此，我们需要找到一种方法来挖掘这些未被充分利用的数据集，并将它们用于学习.

从预训练模型迁移学习

In the absence of large amounts of labeled data, we usually resort to using 转移学习. 什么是迁移学习?

迁移学习是指使用从类似任务中获得的知识来解决手头的问题. 在实践中, 这通常意味着使用从类似任务中学习到的深度神经网络权重作为初始化, rather than starting from a random initialization of the weights, 然后在可用的标记数据上进一步训练模型来解决手头的任务.

迁移学习使我们能够在小到几千个例子的数据集上训练模型, 它可以提供非常好的性能. Transfer learning from pretrained models can be performed in three ways:

1. 特征提取

通常, 神经网络的最后一层进行最抽象和特定任务的计算, which are generally not easily transferable to other tasks. 相比之下, 网络的初始层学习一些基本特征，如边缘和常见形状, 哪些是容易在任务间转移的.

下面的图像集描述了卷积神经网络(CNN)中不同层次的卷积核本质上是在学习什么. 我们看到一个分层表示, 初始层学习基本形状, 并逐步, higher layers learning more complex semantic concepts.

Hierarchical representation: initial layers and higher layers

一种常见的做法是在大型标记图像数据集(如 ImageNet) and chop off the fully connected layers at the end. 新, 然后根据所需的类数量附加和配置完全连接的层. 转移的层被冻结, and the new layers are trained on the available labeled data for your task.

在这个设置中, the pretrained model is being used as a feature extractor, and the fully connected layers on the top can be considered a shallow classifier. 这种设置比过拟合更健壮，因为可训练参数的数量相对较少, so this configuration works well when the available labeled data is very scarce. 多大的数据集才算非常小的数据集，这通常是一个需要多方面考虑的棘手问题, including the problem at hand and the size of the model backbone. 粗略地说，对于由几千张图像组成的数据集，我会使用这种策略.

2. 微调

另外, 我们可以从一个预训练的网络中转移这些层，并在可用的标记数据上训练整个网络. 这种设置需要更多的标记数据，因为你正在训练整个网络，因此有大量的参数. This setup is more prone to overfitting when there is a scarcity of data.

3. 两阶段迁移学习

这种方法是我个人最喜欢的，通常会产生最好的结果，至少在我的经验中是这样. 在这里, 在对整个网络进行微调之前，我们先训练新连接的层，同时将传输的层冻结几个epoch.

对整个网络进行微调而不给最终层几个epoch可能会导致有害梯度从随机初始化的层传播到基本网络. 此外, fine-tuning requires a comparatively smaller learning rate, and a two-stage approach is a convenient solution to it.

The Need for Semi-supervised and Unsupervised Methods

对于大多数图像分类任务来说，这通常工作得很好，因为我们有像ImageNet这样的巨大图像数据集，覆盖了可能的图像空间的很大一部分, weights learned from it are transferable to custom image classification tasks. 此外，预训练的网络是现成的，从而促进了这一过程.

然而, 如果任务中的图像分布与训练基础网络的图像有很大不同，那么这种方法就不能很好地工作. 例如, if you are dealing with grayscale images generated by a medical imaging device, 从ImageNet的权值进行迁移学习不会那么有效，你需要超过几千张带标签的图像来训练你的网络以达到令人满意的性能.

相反，针对您的问题，您可以访问大量未标记的数据集. That is why the ability to learn from unlabeled datasets is crucial. 另外, 未标记的数据集通常比最大的标记数据集在种类和数量上都要大得多.

在像ImageNet这样的大型基准测试中，半监督方法已经显示出优于监督方法的性能. Yann LeCun很有名蛋糕的类比 stresses the importance of unsupervised learning:

Semi-supervised学习

This approach leverages both labeled and unlabeled data for learning, 因此它被称为半监督学习. 当您有少量标记数据和大量未标记数据时，这通常是首选的方法. 有些技术可以让你同时从标记和未标记的数据中学习, 但我们将在两阶段方法的背景下讨论这个问题:对未标记数据的无监督学习, 迁移学习使用上面描述的策略之一来解决你的分类任务.

In these cases, unsupervised learning is a rather confusing term. 这些方法并不是真正的无监督的，因为有一个监督信号来指导权重的学习, but thus the supervision signal is derived from the data itself. 因此, 它有时被称为自我监督学习，但这些术语在文献中可以互换使用，指的是相同的方法.

自监督学习的主要技术可以根据它们如何从数据中生成监督信号来划分, 如下所述.

生成方法

生成方法 - Autoencoders: encoder and decoder networks

生成方法的目的是在数据通过瓶颈后精确地重建数据. 这种网络的一个例子是自动编码器. 他们使用编码器网络将输入减少到低维表示空间，并使用解码器网络重建图像.

在这种设置中，输入本身成为训练网络的监督信号(标签). 然后可以提取编码器网络并将其用作构建分类器的起点, using one of the 转移学习 techniques discussed in the section above.

Similarly, another form of generative networks - 生成对抗网络 (GANs) - can be used for pretraining on unlabeled data. 然后，可以采用鉴别器并对分类任务进行进一步微调.

区别的方法

判别方法训练神经网络学习辅助分类任务. 选择一个辅助任务，使监督信号可以从数据本身派生出来, 无需人工注释.

这类任务的例子是学习图像补丁的相对位置, 对灰度图像进行着色, or learning the geometric transformations applied on images. 我们将进一步详细讨论其中的两个.

学习图像补丁的相对位置

在这个技术中, image patches are extracted from the source image to form a jigsaw puzzle-like grid. 路径位置被洗牌, 洗牌后的输入被输入到网络中, which is trained to correctly predict the location of each patch in the grid. Thus, the supervision signal is the actual position of each path in the grid.

在学习中, 该网络学习物体的相对结构和方向，以及颜色等低级视觉特征的连续性. 结果表明，通过解决这个拼图学到的特征可以高度转移到图像分类和目标检测等任务中.

Learning Geometric Transformations Applied to Images

Learning Geometric Transformations Applied to Images

这些方法对输入图像应用一小组几何变换，并训练分类器通过单独查看变换后的图像来预测应用的变换. 这些方法的一个例子是对未标记的图像应用2D旋转以获得一组旋转的图像，然后训练网络来预测每个图像的旋转.

这个简单的监督信号迫使网络学会定位图像中的物体并理解它们的方向. 通过这些方法学习的特征已被证明是高度可转移的，并且在半监督设置中为分类任务提供了最先进的性能.

相似性的方法

这些方法将图像投影到一个固定大小的表示空间中，在这个空间中，相似的图像靠得更近，而不同的图像离得更远. 实现这一点的一种方法是使用暹罗网络基于三联体损失，最小化语义相似图像之间的距离. 三重损失需要一个锚, 一个积极的例子, 和一个消极的例子，并试图使积极的更接近锚，而不是消极的，就潜在空间的欧几里得距离而言. Anchor和positive是同班同学, and the negative example is chosen randomly from the remaining classes.

在未标记数据中, 我们需要想出一种策略，在不知道图像类别的情况下，产生锚定的正面和负面例子的三联体. 一种方法是使用锚图像的随机仿射变换作为正例，并随机选择另一个图像作为负例.

实验

在本节中, 我将涉及一个实验，从经验上建立了图像分类的无监督预训练的潜力. 这是我的学期课题深度学习课程我去年春天在纽约大学和Yann LeCun一起做的.

数据集. 它由128K标记样例组成, half of which are for training and the other half for validation. 此外, we are provided 512K unlabeled images. 数据总共包含1000个类.
未受训. AlexNet 是否接受了63个epoch的旋转分类训练. We used the hyperparameters documented by Rotnet in their 纸.
分类器训练. Features were extracted from the fourth convolution layer, and three fully connected layers were appended to it. 这些层被随机初始化，并以预定的递减学习率进行训练, and early stopping was implemented to stop training.
全网微调. Eventually, we fine-tuned the network trained on the entire labeled data. 特征提取器和分类器, 哪些是之前单独训练的, were fine-tuned together with a small learning rate for 15 epochs.

我们训练了7个模型，每个模型在每个类中使用不同数量的标记训练样本. 这样做是为了了解训练数据的大小如何影响我们的半监督设置的性能.

我们能够在旋转分类的预训练中获得82%的准确率. For classifier training, the top 5% accuracy saturated around the value of 46.24%, and fine-tuning of the entire network yielded the final figure of 50.17%. 通过利用预训练, we got better performance than that of supervised training, 哪个给出了前5名40%的准确率.

正如预期的那样，验证精度随着标记训练数据的减少而降低. 然而, 在有监督的环境下，性能的下降并不像人们所期望的那样显著. 训练数据从每个类64个示例减少到每个类32个示例，减少50%只会导致验证准确性降低15%.

每个类只使用32个示例, 我们的半监督模型比每个类使用64个样本训练的监督模型具有更好的性能. 这为半监督方法在低资源标记数据集上的图像分类潜力提供了经验证据.

结束

我们可以得出结论，无监督学习是一个强大的范例，有能力提高低资源数据集的性能. 无监督学习目前处于起步阶段，但通过从廉价且易于获取的未标记数据中学习，将逐渐扩大其在计算机视觉领域的份额.