当前位置：网站首页>MUDA：对齐特定域的分布和分类器以实现来自多源域的跨域分类

MUDA：对齐特定域的分布和分类器以实现来自多源域的跨域分类

2022-08-10 08:43:00 【一瞬にして失う】

简介：1、提出了一个具有两个对齐阶段的MUDA新框架。

2、该框架不仅分别对齐多个特定特征空间中每对源域和目标域的分布，而且还利用特定域的决策边界对齐分类器的输出。

如下图所示，在单源无监督域自适应（SUDA）中，源域和目标域的分布不能很好地匹配。而在多源无监督域自适应（MUDA）中，由于多个源域之间的移动，很难匹配所有源域和目标域的分布。

问题的提出：无法消除一个源域和一个目标域之间的偏移，当尝试对齐多个源域与目标域时，更大的不匹配程度可能会导致性能不令人满意。其次假设目标域数据可以由多个特定域的分类器正确分类，因为它们与源域数据对齐。然而，这些方法可能无法提取区分特征，因为在对齐分布时，它没有考虑目标样本和特定域的决策边界之间的关系。

研究过程：为MUDA提出了一个新的两阶段对齐框架，以克服这两个问题。

a、第一阶段是对齐特定域分布，即我们分别将每对源域和目标域数据映射到多个不同的特征空间，并对齐域特定的分布以学习多个域不变表示。然后，使用多个域不变特征来训练多个特定域的分类器。

b、第二阶段是对齐特定域的分类器。不同分类器预测的特定域决策边界附近的目标样本可能会得到不同的标签。因此，利用特定域的决策边界，我们将分类器的输出与目标样本对齐。

1、相关工作
1.1单源无监督域自适应（SUDA）
a、重新加权训练数据，使其能够更紧密地反映测试分布中的数据，以及在低维流形中找到一种变换，使源子空间和目标子空间更接近。
b、通过添加匹配分布平均嵌入的自适应层将深度卷积网络扩展到域自适应
c、通过添加子网络作为域鉴别器，并学习深层特征以在域对抗训练范式中混淆鉴别器。
d、将对抗方法扩展到生成对抗方式。
1.2多源无监督域自适应（MUDA）
a、理想目标假设可以由源假设的分布加权组合来表示。然而，在本文的方法中，只使用源假设的平均值作为目标假设。
b、桥接了多源域自适应和深度迁移。对每对源域和目标域使用分类器和域鉴别器，然后利用投票来支持目标域。
c、将多域鉴别器的梯度结合起来。提取所有域的公共域不变特征。
本文尝试将每对源域和目标域分别映射到多个特征空间中，并提取多个域不变特征。利用特定域的决策边界，我们将分类器的输出与目标样本对齐。

2、前提假设
在多源无监督域自适应中，有N个不同的源域分布，表示为 $\left \{ p_{sj}\left ( x,y \right ) \right \}_{j=1}^{N}$ ;
这些源域分布所标记的源域数据为 $\left \{ \left (X _{sj} ,Y_{sj}\right ) \right \}_{j=1}^{N}$ ，其中源域j的样本为 $X_{sj}=\left \{ x_{i}^{sj} \right \}_{i=1}^{\left | X_{sj} \right |}$ ，相对应的标签为 $Y_{sj}=\left \{ y_{i}^{sj} \right \}_{i=1}^{\left | X_{sj} \right |}$ 。
此外，目标域分布为 $p_{t}\left ( x,y \right )$ ，目标域数据为 $X_{t}=\left \{ x_{i}^{t} \right \}_{i=1}^{\left | X_{t} \right |}$ ，没有标签 $Y_{t}$ ，这说明目标域是无监督域。
2.1先前工作
先前工作将深度学习和多源域自适应联系起来最小化每对源域和目标域之间的距离损失，以在所有域的公共特征空间中学习公共域不变特征。最小化公式为：
$J\left ( \cdot ,\cdot \right )$ ：交叉熵损失函数（分类损失）；
$\widehat{D}\left ( \cdot ,\cdot \right )$ ：两个域差异的估计，如MMD、CORAL（Sun和Saenko 2016）、混淆损失；
$F\left ( \cdot \right )$ ：将所有域映射到公共特征空间的特征提取器；
$C\left ( . \right )$ ：分类器。
2.2本文方法（两阶段对齐方法）
这些工作主要关注于学习所有域的公共域不变特征，而不考虑类之间特定域的决策边界。本文利用特定域的决策边界，将分类器的输出与目标样本对齐。
第一个对齐阶段：对齐每对源域和目标域的域特定分布。
a、方法：将它们映射到特定的特征空间并匹配它们的分布。要将每对源域和目标域映射到特定的特征空间，最简单的方法是训练多个网络，这将花费大量时间。
b、本文将网络分为两部分。第一部分，共享一个子网络以学习所有域的一些公共特征，第二部分包含N个特定域的子网络，这些子网络不共享每对源域和目标域的权重。对于每个非共享子网络，我们学习一个特定域的分类器。
c、不同分类器预测的特定域决策边界附近的目标样本可能会得到不同的标签。因此，需要利用特定域的决策边界。
第二个对齐阶段：对齐目标样本的特定域分类器的输出。本文方法不适用复杂的投票方法。

3、两阶段对齐方法
3.1两阶段对齐框架
我们的框架由三个组件组成，即公共特征提取器、特定域特征提取器和特定域分类器
公共特征提取器：提出了一个公共子网络 $f\left ( \cdot \right )$ ，用于提取所有域的公共特征，将图像从原始特征空间映射到公共特征空间。
特定域特征提取器：给定来自源域 $\left ( X_{sj} ,Y_{sj}\right )$ 的批图像 $x_{sj}$ 和来自目标域 $X_{t}$ 的批图像 $x_{t}$ ，这些特定域的特征提取器从公共特征提取器接收公共特征 $f\left ( x^{sj} \right )$ 和 $f\left (x ^{t} \right )$ 。然后，每个源域 $\left ( X_{sj} ,Y_{sj}\right )$ 有N个非共享的特定域的子网络 $h_{j}\left ( \cdot \right )$ ，它们将每对源域和目标域映射到特定的特征空间中。
深域自适应的目的是学习域不变特征，本文选择MMD方法来减少域之间的分布差异。
特定域分类器C：由N个特定域预测器 $\left \{ C_{j} \right \}_{j=1}^{N}$ 组成的多输出网络。每个预测器 $C_{j}$ 是一个softmax分类器，在第j个源域的特定域特征提取器 $H\left ( F\left ( x \right ) \right )$ 之后接收特定域不变特征。对于每个分类器，我们使用交叉熵添加分类损失，即
$\iota _{cls}=\sum_{j=1}^{N}E_{x\sim X_{sj}}J\left ( C_{j}\left ( H_{j}\left ( F\left ( x_{i}^{sj} \right ) \right ) \right ) ,y_{i}^{sj}\right )$
3.2特定域分布的对齐
为了实现第一个对齐阶段（对齐每对源域和目标域的分布），我们选择最大平均差异（MMD）作为对两个域差异的估计。
MMD基本思想：如果生成分布相同，则所有统计量都相同。
在形式上，MMD定义了以下差异度量：
$D_{H}\left ( p,q \right )\doteq\left \| E_{p} \left [ \phi \left (X ^{s} \right ) \right ]-E_{q}\left [ \phi \left ( X^{t} \right ) \right ]\right \| _{H}^{2}$
H：赋予特征核k的再生核希尔伯特空间（RKHS）。
φ（·）：将原始样本映射到RKHS的一些特征映射，核k表示 $k\left ( X^{s},X^{t} \right )=\left \langle \phi \left ( X^{s} \right ),\phi \left ( X^{t} \right ) \right \rangle$ ，其中 $\left \langle .,. \right \rangle$ 表示向量的内积。
结论：如果 $D_{H}\left ( p,q \right )=0$ ，p=q。
MMD的估计通过经验核均值嵌入之间的平方距离进行比较，如下所示：
$\widehat{D_{H}}\left ( p,q \right )=\left \|\frac{1}{n_{s}}\sum_{X_{i}\in D _{s}}\phi \left ( X_{i} \right )-\frac{1}{n_{t}} \sum_{X_{j}\in D_{t}}\phi \left ( X_{j} \right )\right \|_{H}^{2}$
其中 $\widehat{D_{H}}\left ( p,q \right )$ 是DH（p，q）的无偏估计。我们使用 $\widehat{D_{H}}\left ( p,q \right )$ 作为每个源域和目标域之间差异的估计。MMD损失便表示为：
$\iota _{mmd}=\frac{1}{N}\sum_{j=1}^{N}\widehat{D}\left (H _{j}\left ( F\left ( X_{sj} \right ) \right ) ,H_{j}\left ( F\left ( X_{t} \right ) \right )\right )$
每个特定域特征提取器可以通过最小化mmd损失来学习每对源域和目标域的域不变特征。
3.3特定域分类器对齐
问题：类边界附近的目标样本更有可能被从源样本学习的分类器误分类。
ps：分类器是在不同的源域上训练的，因此它们可能对目标样本，尤其是类边界附近的目标样本的预测存在分歧。
简单来说，不同分类器预测的相同目标样本应该得到相同的预测。因此，第二个对齐阶段是最小化所有分类器之间的差异。利用目标域数据的所有分类器概率输出对其中差异的绝对值作为差异损失：
$\iota _{disc}=\frac{2}{N\times \left ( N-1 \right )}\sum_{j=1}^{N-1}\sum_{i=j+1}^{N}E_{x\sim X_{t}}\left [ \left | C_{i} \left ( H_{i} \left ( F\left ( x_{k} \right ) \right )\right )-C_{j}\left ( H_{j}\left ( F\left (x _{k} \right ) \right ) \right )\right | \right ]$
通过最小化差异损失，所有分类器的概率输出是相似的。最后，为了预测目标样本的标签，计算所有分类器输出的平均值。

4、适应网络的多特征空间
对于多个源域，学习公共域不变特征是困难的。此外，类边界附近的目标样本可能会被误分类。为此提出了一种多特征空间自适应网络（简称MFSAN）。
MFSAN网络介绍：包括两个对齐阶段，即学习特定源域不变特征和对齐分类器的输出以获得目标样本。
网络框架：由一个公共特征提取器、N个域特定特征提取器和N个源特定分类器组成。
损失函数：损失函数由三部分组成，分类损失、mmd损失和差异损失。
a、最小化分类损失，网络可以准确地对源域数据进行分类；
b、通过最小化mmd损失来学习域不变特征；
c、通过最小化差异损失来减少分类器之间的差异。
总的损失函数为：
$\iota _{total}=\iota _{cls}+\lambda \iota _{mmd}+\gamma \iota _{disc}$
整个网络算法的过程如下所示：