论文题目:SESC2: Seeking Essential Semantics in Changing Contexts for Semi-Supervised Segmentation
第一作者:仲海锋-2023级博士研究生
指导教师:高一星
期刊名称:IEEE Transactions on Multimedia(IEEE TMM,IF=9.9)
期刊类别:CCF-A类期刊,中科院一区Top
期刊简介:TMM全称为《IEEE多媒体汇刊》,是IEEE旗下多媒体与人工智能领域的国际顶级期刊,被列为中国计算机学会(CCF)A类推荐期刊,同时入选中科院一区Top期刊。该期刊主要刊载多媒体技术及其应用领域的高水平研究成果,研究范围涵盖图像与视频处理、计算机视觉、机器学习、人工智能、信号处理以及多媒体系统等方向。
论文概述:基于一致性正则化的半监督语义分割方法,通常依赖由有限标注数据所提供的上下文先验来挖掘未标注数据中的特征信息。尽管这一方法能够借助上下文模式的重复出现,提高模型在分布相近的未标注数据上的分割精度,但它也会无意中将未标注数据中未曾出现过的上下文误判为异常。为打破这种对标注数据上下文的闭环依赖,我们提出了一种新框架SESC2。该框架旨在促使模型依据以目标为中心的语义线索识别物体,而非依赖标注数据中存在的虚假上下文关联。所提出的方法包含两个关键组成部分:(1)视觉内容变换:在属于同一类别的标注样本与未标注样本之间动态交换背景,从而打破标注数据所施加的上下文依赖,并构建多样化的上下文环境,以促进以目标为中心的特征学习;(2)语义不变性重组:对原始输入与经视觉内容变换后的输入之间的高阶特征交互进行对对齐建模,引导模型提取对上下文变化更加稳健的语义属性。在多个基准数据集上的大量实验表明,SESC2在不同数据划分设置下均能持续提升基线方法的性能,尤其是在标注数据较为匮乏的场景中表现更为显著。

SESC2的框架图