0 说明

  • 论文解读第二篇；
  • 《Bidirectional Learning for Domain Adaptation of Semantic Segmentation》来自于CVPR 2019学术会议论文。

1 研究背景

  • 人工标注、合成图像
  • 在大型数据集上训练深度学习神经网络推动了图像语义分割的迅速发展，但是由于需要大量的人工、收集和手动标注具有像素级标签的图像，成本过高。
  • 计算机图像学进展的推动下，可以产生具有标签的较为逼真的合成图像，但是与实际图像之间仍然存在域适应问题。

2 研究问题

  • 无监督、域适应问题
  • 由合成数据训练的模型面临的问题
    • 域迁移：生成图像（源域）与真实图像（目标域）不匹配问题；
    • 无标签：极端情况下目标域无可用标签；
  • 应对
    • 域适应着重解决域不匹配问题；
    • 极端情况下则属于是无监督域适应问题。

3 创新点

3.1 传统方法

  • 传统方法是通过减小源域和目标域之间的均值或者方差度量标准，将源域的数据进行一定程度的变换，映射到目标域，但这种方法受限，且不易实现。
  • 由于CycleGAN的提出，将语义分割分解为两个步骤，进一步减小了域间差异，语义分割自适应取得良好的发展。定义两个子网络，一个为域变换子网络（转换模型），另一个为分割子网络（分割自适应模型）。
    • 先使用域变换子网络将源域转换到目标域，将源图像与变换图像喂给分割网络，并在分割网络中加入判别器，对输出的特征图判别源域与目标域的对齐程度，进一步优化网络。
    • 优点：转换模型F有助于减少域间误差，进而更容易学得分割模型M，获得更好的性能。
    • 缺点：分割模型极其依赖于转换模型，一旦转换实效，在下一阶段无能为力。

3.2 创新

  • 双向学习系统：在CycleGAN的基础之上，双向学习形成一个闭环，迭代优化两个子网络；
  • 自监督学习算法：用于分割自适应模型，在特征级别上逐步对齐源域和目标域，有利于分割网络实现域适应，进而有利于反向过程优化；
  • 感知损失（perceptual loss ）：通过更新分割自适应模型来监督转换模型。

4 方法总结

4.1 双向学习（Bidirectional Learning）

  • 正向学习：translation-to-segmentation（$F->M$）

未完……

首先简单介绍双向学习和自监督学习

然后放出网络结构图，通过算法解释网络结构图和算法，以及各个损失的作用。