EMNLP (The Conference on Empirical Methods in Natural Language Processing) 是自然语言处理领域顶级国际会议之一，涉及机器翻译、文本生成、文本分类、信息抽取、问答系统、语言模型等研究方向。2025年该会议将于11月5日至9日在中国苏州举行。
论文标题：R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-task Learning
第一作者：刘锦达（2022级本科生）
收录会议：EMNLP 2025
指导教师：邬渊
论文概述：
微调大型语言模型（LLMs）的计算成本高昂，而低秩适应（LoRA）技术通过低秩矩阵近似权重更新，提供了一种经济高效的解决方案。在实际应用中，人们会在多领域数据上对大型语言模型进行微调，以使其能完成多个领域的任务，这体现了多任务学习的特点。但在这类复杂场景中，LoRA 的表现往往欠佳。为提升 LoRA 在多任务学习中的性能，我们提出了融合多头随机化的 R-LoRA 方法，通过多头 Dropout 和多头随机初始化来增强头部矩阵的多样性，从而在保留共享知识表征的同时，更高效地学习多样任务的特征，拓展了 Dropout 的应用场景。R-LoRA不仅提升了多任务学习的性能，还能减少 GPU 显存和训练时间。实验表明，R-LoRA 的性能提升源于头部矩阵多样性的增加，这证明了其在多任务学习中的有效性。
