GANs
GANs
模式识别的定义
模式识别是对数据中的模式和规律性的自动识别。它在统计数据分析、信号处理、图像分析、信息检索、生物信息学、数据压缩、计算机图形学和机器学习中都有应用。模式识别起源于统计学和工程学；一些现代的模式识别方法包括使用机器学习，这是由于大数据可用性的增加和处理能力的新丰富. 这些活动可以看作是同一个应用领域的两个方面，在过去的几十年里都得到了长足的发展。
Pattern recognition - Wikipedia
L1 和 L2 正则化方法
L1 and L2 Regularization Methods. Machine Learning | by Anuja Nagpal | Towards Data Science
GAN
GAN是一个有趣的想法，最初被引入2014 年，由 Ian Goodfellow（现供职于 OpenAI）领导的蒙特利尔大学的一组研究人员。GAN 背后的主要思想是拥有两个相互竞争的神经网络模型。一个将噪声作为输入并生成样本（因此称为生成器）。另一个模型（称为鉴别器）从生成器和训练数据中接收样本，并且必须能够区分这两个来源。这两个网络玩一个连续的游戏，其中生成器正在学习生成越来越多的真实样本，而鉴别器正在学习越来越好地将生成的数据与真实数据区分开来。这两个网络是同时训练的，希望通过竞争来驱动生成的样本与真实数据无法区分。
这里经常使用的类比是，生成器就像试图制造一些伪造材料的伪造者，而鉴别器就像试图检测伪造物品的警察。这种设置似乎也让人想起强化学习，其中生成器从鉴别器接收奖励信号，让它知道生成的数据是否准确。然而，与 GAN 的主要区别在于我们可以将梯度信息从鉴别器反向传播回生成器网络，因此生成器知道如何调整其参数以产生可以欺骗鉴别器的输出数据。
An introduction to Generative Adversarial Networks (with code in TensorFlow)
minmax（有时称为Minimax、MM [1]或鞍点[2]）是人工智能、决策论、博弈论、统计学和哲学中用于最小化最坏情况（最大损失）场景的可能损失的决策规则. 在处理增益时，它被称为“maximin”——最大化最小增益。最初是为多人零和博弈论制定的 ，涵盖了玩家交替移动和同时移动的情况，它也被扩展到更复杂的游戏和存在不确定性的一般决策。
- Cross-domain
Cross Domain：中文表示--跨域。以小样本学习为例，跨域问题是指在学习过程中，源域(source domain)和目标域(target domain)在特征空间、类别空间或、边缘分布中的某一项或几项存在差异从而在学习过程中引起的问题。
Domain Adaptation，缩写DA：中文表示--域适应，主要是针对Cross Domain跨域问题中源域和目标域的特征空间、类别空间相同、但边缘分布不同，即Ps(xs) /= Pt(xt)情况下的解决途径，如下图所示；域适应更多的应用在无监督学习下即UDA---Unsupervised Domain Adaptation。
域适应，领域自适应技术的研究由来已久，其目的是将知识从一个或多个源域转移到具有不同数据分布的目标域。早期的方法通常依赖于浅层分类模型的适应性，使用实例重加权[12]和模型参数自适应[65]等技术。最近，人们提出了许多使用深层神经网络来解决域适应问题的方法，包括基于差异的方法，旨在调整域之间的边缘分布[38,54,23,30]，基于对抗的方法，它们依赖于域鉴别器来鼓励与域无关的特征学习[59,14]，以及基于重构的技术，通常使用编码器-解码器模型或GANs来重建新域中的数据[4,69,22]。然而，所有这些方法都考虑到训练集和测试集具有相同的类的情况。一项工作考虑了这样一种情况：有些类可能不相交，但仍然需要类重叠才能成功对齐[50]。相比之下，我们研究了源域和目标域具有完全不相交的标签集的跨域少镜头学习问题。
域泛化DG与域适应相关，因为我们关心的是目标域的性能，而不是源域的性能；但是它考虑的是目标域样本在训练过程中不可用的情况，因此模型必须直接泛化而不是适应目标域。DG与传统的泛化有关：在一组训练实例中学习的模型可以归纳为新的测试实例，例如通过正则化。然而它在更高的层次上运行，我们的目标是帮助在一组训练域上训练的模型泛化为一个新的测试域。
CrossDomain、DomainAdaptation、DomainGeneralization - 知乎
不同的domain之间存在特征交集，比如电商领域的CTR（曝光给用户预测其点击的概率）任务存在着部分相同的用户群体和商品，这部分信息其实在不同的domain任务中可以共享，但是又不完全相同，比如同一用户在不同的domain中的行为是不一样的。所以简单的混合不同domain数据训练一个共享model（完全不区分domain任务）是不够的，必须要有区分。
容易想到的就是每个domain训练一个model，但是这样显而易见的缺点就是（1）有的domain训练数据量少，导致很难学到一个理想效果（2）训练这么多model，维护起来也很麻烦，而且需要更多的计算和存储资源。
总体来说就是既要融合但是也要有区分。所以本文介绍的阿里这篇论文的着眼点就是去学一个模型，同时其又可以区分不同domain任务。目前其已经被应用在了阿里的广告系统，CTR提高了8%，RPM收入提高了6%。所以还是非常不错的一篇工业实践，一起来看看吧。