视频分割教程视频（【未完待续】综述：用于视频分割（Video Segmentation）的深度学习）
A Survey on Deep Learning Technique for Video Segmentation
0. 摘要
本文回顾视频分割的两条基本研究路线：视频目标分割（object segmentation）和视频语义分割（semantic segmentation） 。本文介绍它们各自的task setting 、背景概念 、感知需求 、发展历史以及主要挑战 。本文详细概述相关的方法和数据集的代表性文献 。本文在一些知名的数据集上对这些方法检测（benchmark） 。最后 ，指出这些领域的opne issue以及未来的研究方向 。
1. 简介
视频分割（找出视频中具有特殊性质或者语义（semantics）的关键目标）是计算机视觉（computer vision ，CV）中基础且有挑战性的的问题 。它有无数潜在的应用：自动驾驶 、机器人 、监控（surveillance） 、社交媒体 、AR 、电影制作以及视频会议 。
这个问题已经被传统的CV和机器学习（machine learning ，ML）方法解决 。包括：
hand-crafted features (e.g., histogram statistics, optical flow, etc.) heuristic prior knowledge (e.g., visual attention mechanism, motion boundaries, etc.) low/mid-level visual representations (e.g., super-voxel, trajectory, object proposal, etc.) classical machine learning models (e.g., clustering, graph models, random walks, support vector machines, random decision forests, markov random fields, conditional random fields, etc.)最近 ，深度网络（DNN） ，尤其是全卷积网络（FCN）在视频分割取的巨大进展 。相比于传统方法 ，这些基于深度学习（Deep Learning ，DL）的（Video Segmentation ，VS）算法有更高的精度（有时甚至更有效） 。
全卷积网络（fully convolutional network ，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换 。与卷积神经网络有所不同 ，全卷积网络通过转置卷积（transposed convolution）层将中间层特征图的高和宽变换回输入图像的尺寸 ，从而令预测结果与输入图像在空间维（高和宽）上一一对应：给定空间维上的位置 ，通道维的输出即该位置对应像素的类别预测 。
现在大多数的研究视角狭隘 ，例如 ，只关注视频的前景/背景分割 。本文系统地介绍了VS的最新进展 ，跨度从任务公式化（task formulation）到分类（taxonomy） 、从算法到数据集 、从未解决的问题到未来的研究方向 ，涵盖的关键点包括：
任务类别（前景/背景分离 、语义分割） 推断模型（自动的 、半自动的 、交互的） 学习方式（监督 、无监督 、弱监督） 澄清术语（减背景法（background subtraction） 、运动分割（motion segmentation））本文主要关注VS两个主要分支（目标分割 、语义分割）的最新进展 ，之后会分为八个子领域 。本文参考来自有名望的期刊和会议中有影响力的作品 ，也包含其他领域（例如：视觉跟踪）中非深度学习的视频分割模型和文献 。
上图是本文回顾的视频分割任务：
目标级自动视频目标分割（object-level AVOS） 实例级自动视频目标分割（instance-level AVOS） 半自动视频目标分割（SVOS） 交互式视频目标分割（IVOS） 语言引导的视频目标分割（LVOS） 视频语义分割（VSS） 视频实例分割（VIS） 视频全景分割（video panoptic segmentation ，VPS）上图是本文的结构 。
2. 背景
2.1 问题公式化和分类学
令 X 和 Y 分别表示输入空间和输出的分割空间 ，基于深度学习的VS就是要找到一个理想映射 。
2.1.1 视频分割（VS）的类别
基于如何定义输出空间Y ，VS大致可分为两类：VOS 、VSS 。
视频目标（前景/背景）分割（VOS）：Y 是一个二值的前景/背景分割空间 。VOS应用于视频分析以及编辑场景 ，例如：移除电影中的目标 、基于内容的视频编码 、视频会议中生成虚拟背景 。
视频语义分割（VSS）：图像语义分割向时空（spatio-temporal）域的直接扩展 。目标是从视频中提取属于预定义语义类别（例如：车 、建筑物 、人行道 、道路）的对象 。因此 ，Y 对应一个多类别的语义解析（parsing）空间 。VSS是许多应用的的感知基础 ，这些应用要求对环境的高度理解 ，例如：机器人感知 、人机交互 、自动驾驶 。
评论：VOS和VSS有相同的挑战 ，例如：快速移动和目标遮挡（object occlusion） 。不同的应用场景有不同的挑战 。例如：VOS通常关注人类创造的媒介 ，这些媒介具有较大的镜头移动 、变形和外观变化；VSS通常关注像自动驾驶这样的应用 ，要求精度和时延的权衡 、对小目标精确地探测 、模型的并行性 、跨域泛化能力 。
2.1.2 视频分割（VS）的推断模式（Inference Modes）
基于人类参与推断的程度 ，VOS又被进一步分成三类：自动 、半自动 、交互式 。
自动视频目标分割（AVOS）：又被成为无监督VS 、zero-shot VS 。它自动执行VOS ，且不需要手动初始化 。
半自动视频目标分割（SVOS）：又被称为半监督学习 、one-shot VS ，通过有限的人类监督（通常在第一帧提供）找出所需的目标 。典型的人类输入是在视频第一帧的目标掩模（mask） ，这种情况下 ，SVOS也叫做像素跟踪 ，或掩模传播 。从这个角度来看 ，语言引导的视频目标分割（LVOS）是SVOS的一个分支 ，其中 ，人类输入是关于所需对象的语言描述 。与AVOS相比 ，SVOS定义target objects更灵活 ，但需要人工输入 。
交互式视频目标分割（IVOS）：一旦target确定 ，SVOS就自动运行；而IVOS的进程需要人为引导 。
与VOS不同 ，VSS是自动模式 ，除了少量早期方法使用半自动模式 ，例如：label propagation 。
2.1.3 视频分割（VS）的学习方法
根据训练策略 ，基于DL的VS可以分为三个类别：监督 、半监督 、弱监督 。
监督学习：完全使用labelled data学习 ，使模型输出贴近label 。
无监督（自监督 ，self-supervised）学习：完全使用unlabeled data学习 。无监督学习包括完全无监督学习（不需要任何label）和自监督学习（不需要人工标注 ，使用自动生成的伪标签（pseudo labels）训练网络） 。几乎所有现存的无监督VS都是自监督学习 。
弱监督（weakly-supervised）学习：使用有限数目的labelled data学习 ，且该label易于标注 ，例如：边界 。
2.2 历史和术语
VS的早期尝试是video over-segmentation：基于特定区域像素强度的不连续性和相似性 。典型的方法包括：hierarchical video segmentation ，temporal superpixel ，super-voxels 。这些方法适用于视频的预处理 ，但是不能解决目标级的分割问题 。因为它们不能把分层（hierarchical）视频分解为二值分割 。
二值分割：首先把图像转换成灰度图像 ，然后设置一个用来进行二值分割的阈值 ，再遍历灰度图像的每个像素点 。如果该像素点的灰度值大于阈值 ，就将该像素点灰度值设为255 ，如果该像素点的灰度值小于阈值 ，就将该像素点灰度值设为0 。
为了从视频序列中提取前景目标 ，在70年代后期 ，减背景法（background subtraction）出现了 。 他们假设背景是先验已知的 ，并且相机是静止的或经历可预测的 、参数化的2D或具有3D视差的3D运动 。这些基于几何的方法非常适合特定的应用场景 ，如监控系统 ，但它们对模型选择（2D或3D）敏感 ，无法处理相机非确定移动的场景 。
视差（parallax）：从不同位置观察物体所产生的位置或方向上的差别
运动分割（motion segmentation）：寻找运动的目标 。减背景法可视为运动分割的特例 。然而 ，大多数运动分割模型是基于运动分析 、因子分解和统计技术建立的 ，这些技术在相机运动模式未知的情况下对运动场景的特征进行建模 。
轨迹分割（trajectory segmentation）：运动分割的一种 。轨迹由多个帧上的跟踪点生成 ，表示长期的运动模式 ，可作为分割的信息提示 。基于运动的方法严重依赖于光流估计的准确性 ，并且当物体的不同部分表现出不同的运动模式时 ，可能会失败 。
光流(optical flow)：分析运动图像的重要方法 ，指时变图像中亮度模式的运动 。因为当物体在运动时 ，它在图像上对应点的亮度模式也在运动 。（百科）
在分析光流时 ，需要用到两个重要假设：1.对象的像素强度在连续帧之间不会改变 。2.相邻像素具有相似的运动 。（参考）
AVOS可以克服上面所说的限制 。一些方法在视频的每一帧中生成大量候选目标 ，并将分割视频目标的任务转化为目标区域选择的问题 。这些算法的主要缺点是计算量大以及复杂的目标推断 。还有一些人探索了启发式假设 ，如visual-attention和运动边界 ，但在启发式假设不成立的场景中很容易失败 。
启发式（heuristic）： “自我发现的能力 ”或“运用某种方式或方法去判定事物的知识和技能 ”
运动边界（motion boundary）：提取运动物体的边界信息（轮廓）
早期的SVOS通常依赖于光流 ，且和目标跟踪很像 。此外 ，IVOS在大量的人类指导下完成高质量视频分割任务 。SVOS和IVOS的灵活性和准确性的代价：由于人工参与 ，不可能大规模使用 。
由于VSS任务的复杂性 ，在DL时代之前 ，相关研究很少 。该方法主要依赖于有监督的分类器（例如 ，SVM）以及video over-segmentation 。
综上 ，相比于以往的方法 ，基于DL的方法进一步提升了VS的性能 。
2.3 相关研究领域
视觉跟踪：为了推断时变目标的位置 ，现有方法通常假设目标在视频的第一帧就已经被圈定了 。视觉跟踪和VS有一些共通的挑战（例如：目标/相机运动 、外观改变 、目标遮挡等） ，这促使了它们的联合使用 。
图像语义分割：端到端图像语义分割的成功促使VSS快速发展 。最近的VSS基于时间连续性提升分割的精度和有效性 ，而不是对视频逐帧的使用图像语义分割 。
视频目标检测：为了进行视频目标检测 ，视频目标检测器使用了框或特征级的时间线索 。视频目标检测和（实例级）视频分割之间存在许多关键技术步骤和挑战 ，如目标建议（object proposal）生成 、时间信息聚合和帧间目标关联 。
目标建议（object proposal）的基本思路就是在图像上找到一些潜在的目标 ，而不是穷举！然后将这些潜在的目标输入目标识别模型进行分类 。
3. 基于深度学习（DL）的视频分割（VS）
3.1 基于DL的视频目标分割（VOS）
VOS从视频序列中提取通用前景对象 ，而不考虑语义类别识别 。基于人工参与度 ，VOS分为AVOS 、SVOS 、IVOS 。
3.1.1 自动视频目标分割（AVOS）
现代的AVOS以数据驱动的方式学习通用视频目标模式 。
上图是一些AVOS技术的特点 ，其中的Instance表示instance级或者object级的分割 。
基于DL的方法：
2015年 ，Fragkiadaki做出了早期的努力 。他学习了一个多层感知器来对propoasl segments进行排序并推断前景目标 。 2016年 ，Tsai提出了用于AVOS和光流估计的联合优化框架 ，该框架使用了一个预训练分类网络的深度特征 。 后来的方法 ，基于帧或光流预测初始的 、像素级的前景 ，尽管仍需要一些后续步骤 。 基本上 ，这些原始解决方案主要依赖于传统的AVOS技术；神经网络的学习能力尚不充分 。基于像素实例Embedding的方法：首先生成像素级实例embeddings ，然后选择聚类为前景或者背景的代表性embeddings 。最终 ，被采样embeddings的label被传播给其他embeddings 。聚类和传播是无监督的 。虽然使用了较少的注释 ，但这些方法的却是支离破碎且复杂的 。
基于短时信息编码的端到端的方法：
卷积递归神经网络（CRNN ，CNN用于特征提取 ，RNN基于特征预测）用于学习时空视觉模式 。 双流法（two-stream）：构建并行双流从图像和光流中提取特征 。双流特征融合（feature fusion）之后用于分割预测 。双流法充分利用了外观和运动信息 ，代价是光流的计算以及大量需要学习的参数 。这些端到端的方法提升了精度 ，并且显示了使用神经网络的优势 。然而 ，它们只考虑了有限时间跨度内的局部内容：提取少量连续帧中的外观和运动信息作为输入 ，忽视了间隔较远帧的关系 。虽然通常使用RNN ，但它们的内部隐藏内存（internal hidden memory）在建模长期依赖性时造成了固有的限制 。
基于长时语境编码的端到端的方法：目前领先的AVOS使用长时间跨度上的全局语境（global context） 。
Lu提出了基于Siamese结构的模型：提取任意成对帧的特征 ，然后通过计算像素级特征相关性来获取cross-frame context 。 另一个同时期的方式有相似的思想 ，但是只是把第一帧作为参考 。 还有一些扩展研究改进对多个帧中信息的使用 、编码空间语境 、结合时间连续性 ，从而提升表示能力（representation power）和计算有效性 。基于无/弱监督的方法：只有少数AVOS使用无/弱标签数据训练 。
相比于VS data ，更容易获取的静态图像目标分割和动态注视data被用于学习通用的视频目标模式 。
通过探索视频在多个粒度（granularity）上的固有属性来学习视觉模式 ，例如：帧内显著性（saliency,） 、短时视觉连贯性 、长程语义对应性 、视频级辨别性 。
通过最小化目标的运动与其语境之间的互信息 ，开发了一种对抗性（adversarial）语境模型来分割运动目标 ，且无需任何手动注释 。还可通过自举（bootstrapping）策略和强制时间连续性进一步增强该方法 。
对运动专门研究用于发现移动的目标 ，并且基于Transformer的模型使用未标记视频数据的自监督流重建（self-supervised flow reconstruction）来设计和训练 。
实例级AVOS方法：又称为多目标无监督视频分割 。这个任务更有挑战性 ，因为它不止需要把多个前景从背景中分离出来 ，还要区分不同的实例目标 。目前该任务的解决办法是从宏观到微观（top-down）的办法：生成每一帧的候选目标 ，然后联合不同帧的实例 。
综上 ，目前的实例级AVOS遵循古典的通过检测进行跟踪的办法 ，精度和有效性仍有相当大的提升空间 。
3.1.2 半自动视频目标分割（SVOS）
基于DL的SVOS主要关注第一帧的掩模传播（mask propagation） 。该技术基于目标掩模的测试时间进行分类 。
基于online fine-tune的方法：基于one-shot的方法 ，以一种online的方法分别在每一个给定的目标掩模上训练一个分割模型 。Fine-tune本质上是开发神经网络迁移学习的能力 ，并且通常有两步：
离线pre-train：从图像和视频序列中学习通用的分割特征； 在线fine-tune：基于监督学习目标专门的representation 。然而 ，fine-tune的方法有一些缺点：
预训练是固定的 ，且没有为之后的fine-tune优化； online fine-tune的超参数通常过于专门设计 ，所以不具有良好的泛化能力； 现存的fine-tune都有着高运行时间（每个分割目标多达1000次训练迭代） 。根本原因在于这些方法编码了所有与目标相关的信息（例如：外观 、掩模）为了自动有效的进行fine-tune ，人们开始使用meta learning ，即优化fine-tune policy（例如：通用的模型初始化 、learning rate等）或者直接更改网络权重 。
基于传播的方法：
创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！