fick扩散定理（SegDiff: Image Segmentation with Diffusion Probabilistic Models 基于扩散模型的图像语义分割模型）

目录

Diffusion models是生成模型的一种             ，同样的还有GAN 
  
 
  
 
  
 
  
 
  
 
  
 
  ，VAE













，Flow模型等

Abstract

2 
  
  
  
  
  
  
 、related work

3
  
  
  
  
  
  
 、背景

前向扩散表达：

反向生成过程：

4
 


 


 


 


 


 


 
、理论

5 
 
 
 
 
 
 
、实验

论文地址：https://arxiv.org/pdf/2112.00390.pdf

代码：截至今天还未公开 
  
  
  
  
  
  
 。

随着人工智能在图像生成 
  
  
  
  
  
  
，文本生成以及多模态生成等领域的技术不断累积 
  
  
  
  
  
  
 ，生成对抗网络（GAN）
   
   
   
   
   
   
  、变微分自动编码器（VAE）
 

 

 

 

 

 

 
、normalizing flow models 

 

 

 

 

 

 
、自回归模型（AR）              、energy-based models以及近年来大火的扩散模型（Diffusion Model）
  
  
  
  
  
  
 。

Diffusion models是生成模型的一种

 


 


 


 


 


 


 ，同样的还有GAN 
 
 
 
 
 
 
，VAE 
   
   
   
   
   
   
 ，Flow模型等

SegDiff

Abstract

目前最先进的图像生成方法是采用扩散概率方法
 


 


 


 


 


 


 
。在这项工作中
 

 

 

 

 

 

 ，我们提出了一种方法来扩展这些模型执行图像分割 
 
 
 
 
 
 
。该方法学习端到端
 

 

 

 

 

 

 
，不依赖于预先训练的主干
   
   
   
   
   
   
  。通过对两个编码器的输出求和             ，将输入图像中的信息与当前分割图估计中的信息合并
 

 

 

 

 

 

 
。然后使用附加的编码层和一个解码器迭代细化分割映射 

 
 

 
 

 
 

 
 

 
 

 
 

 ，使用扩散模型 

 

 

 

 

 

 
。由于扩散模型是概率的













，它被多次应用                    ，结果被合并成一个最终的分割图              。新方法在城市景观验证集

 
 

 
 

 
 

 
 

 
 

 
 

 
、Vaihin- gen建筑分割基准和MoNuSeg数据集上产生了最先进的结果

 
 

 
 

 
 

 
 

 
 

 
 

 
。

introduce

扩散方法迭代地改进给定的图像 
 
 
 
 
 
 
 
 
 
 
 
 
 ，得到的图像质量与其他类型的生成模型(包括对数似然模型和对抗模型)相同或更好[10,19]












。这种方法已被证明在许多代任务中表现出色




















，无论是有条件的还是无条件的                     。

绝大多数的扩散模型都应用于没有绝对GT的领域             ，其输出要么通过用户研究 
  
 
  
 
  
 
  
 
  
 
  
 
  ，要么使用几个质量和多样性分数进行评估
 
 
 
 
 
 
 
 
 
 
 
 
 
。据我们所知













，除了超分辨率[19,27,41]外 
  
  
  
  
  
  
，扩散模型还没有被应用到地GT唯一的问题中



















。

在这项工作中 
  
  
  
  
  
  
 ，我们解决了图像分割的问题              。这个问题是经典计算机视觉和过去十年的深度学习方法的基石
  
 
  
 
  
 
  
 
  
 
  
 
  
。该领域的主要方法采用不同结构的编码器-解码器网络[4, 31, 38, 50, 52, 53]












。虽然已经尝试了对抗性方法[12,33,49,51]

 


 


 


 


 


 


 ，但它们并不构成当前的技术水平 
  
  
  
  
  
  
 。

因此 
 
 
 
 
 
 
，扩散模型主要用于类似gan生成任务 
   
   
   
   
   
   
 ，在该领域是否具有竞争力是不确定的
  
  
  
  
  
  
 。在这项工作中
 

 

 

 

 

 

 ，我们提出应用扩散模型来学习图像分割map
 


 


 


 


 


 


 
。与图像分割领域的其他最新改进不同[13,22,44]
 

 

 

 

 

 

 
，我们对我们的方法进行端到端训练             ，而不依赖于预先训练的backbone 
 
 
 
 
 
 
。扩散模型采用了一个条件为输入图像的去噪网络 

 
 

 
 

 
 

 
 

 
 

 
 

 ，该去噪网络仅通过该信息与来自当前估计x t的信息的和进行聚合
   
   
   
   
   
   
  。具体来说













，输入图像I和二值分割映射的当前估计xt通过两个不同的编码器                    ，这些多通道张量的和通过U-Net[38]提供下一个估计xt−1
 

 

 

 

 

 

 
。

由于生成过程本质上是随机的 
 
 
 
 
 
 
 
 
 
 
 
 
 ，因此可以得到多个解 

 

 

 

 

 

 
。正如我们所展示的




















，合并这些解决方案             ，通过简单地平均多次运行 
  
 
  
 
  
 
  
 
  
 
  
 
  ，导致总体精度的提高              。求平均

 
 

 
 

 
 

 
 

 
 

 
 

 
。

贡献：1












、第一个应用扩散模型处理图像分割问题












。

      2                     、我们提出了一种基于输入图像的模型条件化的新方法

         3
 
 
 
 
 
 
 
 
 
 
 
 
 
、我们引入了多代的概念













，以改善扩散模型的性能和校准

         4



















、我们在多个基准上获得了最先进的结果                     。对于较小的数据集 
  
  
  
  
  
  
，差额尤其大
 
 
 
 
 
 
 
 
 
 
 
 
 
。

2              、related work

图像分割：图像分割是为每个像素分配一个标签 
  
  
  
  
  
  
 ，以确定它是否属于一个特定的类别的问题



















。这个问题在不同的体系结构中得到了广泛的研究              。这些包括完全卷积网络[31]

 


 


 


 


 


 


 ，带有跳跃式连接的编码器-解码器架构 
 
 
 
 
 
 
，如U-Net[38] 
   
   
   
   
   
   
 ，基于transformer的架构
 

 

 

 

 

 

 ，如segformer[50]
 

 

 

 

 

 

 
，甚至结合了超网络的架构             ，如[36]
  
 
  
 
  
 
  
 
  
 
  
 
  
。

扩散模型：扩散概率模型(DPM)[43]是一类基于马尔可夫链的生成模型 

 
 

 
 

 
 

 
 

 
 

 
 

 ，它可以将简单分布(如高斯分布)转换为复杂分布中的采样数据












。扩散模组能够生成高质量的图像













，可以与最新的GAN模组竞争                    ，甚至优于它们[10,18,35,43] 
  
  
  
  
  
  
 。引入了扩散模型相似度估计的变分框架

黄等
  
  
  
  
  
  
 。[21]
 


 


 


 


 


 


 
。随后 
 
 
 
 
 
 
 
 
 
 
 
 
 ，Kingma等人提出了一种变分扩散模型




















，该模型对图像密度的似然估计产生了最先进的结果 
 
 
 
 
 
 
。扩散模型也被应用到语言模型中[2,20]             ，其中使用了一种新的分类数据扩散模型
   
   
   
   
   
   
  。

条件扩散概率模型：在我们的工作中 
  
 
  
 
  
 
  
 
  
 
  
 
  ，我们使用扩散模型来解决图像分割问题作为条件生成













，给定的图像
 

 

 

 

 

 

 
。带有扩散模型的条件生成包含了类条件生成的方法 
  
  
  
  
  
  
，它是通过在时间戳中嵌入一个类来获得的 

 

 

 

 

 

 
。在[8]中提出了一种指导DDPM生成过程的方法              。该方法允许根据给定的参考图像生成图像 
  
  
  
  
  
  
 ，而不需要任何额外的学习

 
 

 
 

 
 

 
 

 
 

 
 

 
。

在超分辨率领域

 


 


 


 


 


 


 ，对低分辨率图像进行上采样 
 
 
 
 
 
 
，然后在每次迭代时将其按通道连接到生成的图像上[19,41]












。模拟方法将低分辨率图像在拼接前通过卷积块[27]                     。与我们的工作一致的是 
   
   
   
   
   
   
 ，扩散模型被应用于图像到图像的翻译任务[40]
 
 
 
 
 
 
 
 
 
 
 
 
 
。这些任务包括去裁剪
  
 
  
 
  
 
  
 
  
 
  
 
  
、填充和着色



















。得到的结果优于强GAN基线              。

条件扩散模型也被用于语音生成
  
 
  
 
  
 
  
 
  
 
  
 
  
。用卷积网络对mel谱图进行处理
 

 

 

 

 

 

 ，并作为DPM去噪网络的附加输入[6,24,30]












。此外
 

 

 

 

 

 

 
，在[37]中引入了文本到语音的扩散模型             ，该模型使用文本作为扩散模型的条件 
  
  
  
  
  
  
 。

在我们的工作中 

 
 

 
 

 
 

 
 

 
 

 
 

 ，我们采用了一种不同的方法来条件化













，在输入图像通过卷积编码器后                    ，将其添加(而不是连接)到分割图像的当前估计中
  
  
  
  
  
  
 。换句话说 
 
 
 
 
 
 
 
 
 
 
 
 
 ，我们学习了残差模型的DPM
 


 


 


 


 


 


 
。

3












、背景

我们简单介绍DDPM中的公式 
 
 
 
 
 
 
。扩散模型是由马尔可夫链参数化的生成模型




















，由正向过程和向后过程组成
   
   
   
   
   
   
  。

前向扩散过程数学表达：

反向生成过程：

4 
  
  
  
  
  
  
 、理论

我们的方法修改了扩散模型             ，通过调节步长估计函数（该函数为Unet）的输入张量 
  
 
  
 
  
 
  
 
  
 
  
 
  ，该输入张量结合了来自当前估计Xt和输入图像I的信息
 

 

 

 

 

 

 
。

在扩散模型中步长估计函数为Unet













，在我们的模型中 
  
  
  
  
  
  
，我们步长函数可以用下式表达：

在我们的结构中Unet的decoder还是最基本的 
  
  
  
  
  
  
 ，但是encoder分为了三部分：E

 


 


 


 


 


 


 ，F和G 

 

 

 

 

 

 
。G部分对图像进行处理 
 
 
 
 
 
 
，F对扩散模型生成的Xt进行处理 
   
   
   
   
   
   
 ，然后将G和F产生的特征相加（二者具有相同的size和维度）              。然后传入到E部分中
 

 

 

 

 

 

 ，当前的索引t被传递到两个不同的网络D和E中
 

 

 

 

 

 

 
，

等式17中对I有条件的θ的输出代入等式16             ，取代了无条件的θ网络

 
 

 
 

 
 

 
 

 
 

 
 

 
。由此产生的推断时间过程如图1所示 

 
 

 
 

 
 

 
 

 
 

 
 

 ，详见Alg. 1












。

4.1 使用多尺度生成

因为在计算Xt-1时需要增加随机噪声













，随机噪声都是标准正态分布                     。相同的输入在每次推理的时候都会有一定随机性的结果
 
 
 
 
 
 
 
 
 
 
 
 
 
。所以我们将推理算法进行多次                    ，然后对结果取平均值



















。

通过这种方式 
 
 
 
 
 
 
 
 
 
 
 
 
 ，得到了较为稳定的分割结果并提高了性能




















，如图2(c)所示              。除了消融研究中的实验             ，我们在所有的实验中使用了30个生成的实例 
  
 
  
 
  
 
  
 
  
 
  
 
  ，消融研究量化了这个平均过程的增益
  
 
  
 
  
 
  
 
  
 
  
 
  
。

4.2 traing

总的扩散次数T需要人为设置












。对每一轮迭代













，图像和mask都是随机获取的 
  
  
  
  
  
  
，迭代次数从均匀分布中采样的 
  
  
  
  
  
  
 ，噪声epsilon从正态分布中采样 
  
  
  
  
  
  
 。

第t次的结果xt可以根据x0推导而来

 


 


 


 


 


 


 ，图像i可以通过encoder G获得 
 
 
 
 
 
 
，然后通过网络E和G获得最后的预测输出
  
  
  
  
  
  
 。然后根据mask和预测值求的loss值 
   
   
   
   
   
   
 ，

4.3 结构

G：由残差块组成
 

 

 

 

 

 

 ，结合了多尺度残差
 

 

 

 

 

 

 
，没有采用BN层             ，

F是一个具有单通道输入和C通道输出的二维卷积层
 


 


 


 


 


 


 
。

解码器部分E和D是基于Unet网络的 
 
 
 
 
 
 
。每一层都由残差块组成 

 
 

 
 

 
 

 
 

 
 

 
 

 ，在分辨率为16x16和8x8时













，每个残差块后面都有一个注意层
   
   
   
   
   
   
  。瓶部包含两个残差块                    ，中间有一个注意层
 

 

 

 

 

 

 
。每个注意层包含多个注意头 

 

 

 

 

 

 
。

残差块由两个卷积块组成 
 
 
 
 
 
 
 
 
 
 
 
 
 ，每个卷积块包含GroupNorm
  
  
  
  
  
  
 、Silu激活函数和二维卷积层              。残差块通过一个线性层
 


 


 


 


 


 


 
、silu激活函数和另一个线性层接受time embedding

 
 

 
 

 
 

 
 

 
 

 
 

 
。然后将结果添加到第一个2d卷积块的输出中












。此外




















，残留块有一个传递其所有内容的残留连接                     。

在编码器侧(网络E)             ，在相同深度的残块之后有一个下叠加块 
  
 
  
 
  
 
  
 
  
 
  
 
  ，这是一个步幅为2的二维卷积层
 
 
 
 
 
 
 
 
 
 
 
 
 
。在解码器侧(网络D)













，在相同深度的残差块之后有一个上采样块 
  
  
  
  
  
  
，它由空间大小翻倍的最近插值组成 
  
  
  
  
  
  
 ，然后是二维卷积层



















。编码器中的每一层都有到解码器端的跳过连接              。

5 
 
 
 
 
 
 
、实验

实验部分可以找原文去看
  
 
  
 
  
 
  
 
  
 
  
 
  
。