人工智能学院高金彤同学的论文被CCF-A类会议ICML 2024会议接收。ICML,全称International Conference on Machine Learning,是机器学习与人工智能领域的CCF-A类国际顶级学术会议,是公认的机器学习和人工智能领域最具影响力的国际会议之一。该会议每年举办一次,由国际机器学习协会(International Machine Learning Society)主办。
论文题目:Distribution Alignment Optimization through Neural Collapse for Long-tailed Classification
第一作者:高金彤
收录会议:ICML’2024(CCF A)
指导教师:郭丹丹教授
论文概述:在平衡数据集上训练有素的深度神经网络通常表现出神经崩溃 (Neural Collapse, NC) 现象。然而,在长尾数据集上训练的模型很难出现此现象,这其中的部分原因来自测试数据的性能下降。最近的工作在长尾数据集上强制执行模型以满足 NC现象,以便它可以获得更好的性能。本文旨在从分布匹配的角度诱导不平衡学习中的NC现象,我们提出了分布对齐优化(Distribution Alignment Optimization)损失函数,作为正则化方法,从分布的角度缩小不平衡学习表征与平衡 ETF 结构之间的差距,从而实现不平衡分类。由于我们的即插即用方可以与大多数现有的长尾方法相结合,因此我们将其进一步实例化为固定分类器和学习分类器的情况。我们的方法可以很容易地集成到交叉熵损失、不平衡损失函数和基于 NC 的框架中。广泛的实验表明,与现有的大多数方法相比,我们的方法能有效提高分类性能并增强模型在不平衡数据集中的泛化能力。