人工智能学院张浩桢同学的论文被CCF-A类会议KDD 2024接受。 KDD全称The 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, KDD 2024，是数据挖掘领域的CCF-A类国际顶级学术会议，它为来自学术界、企业界、和政府部门的研究人员和数据挖掘从业者进行学术交流和展示研究成果提供了一个理想场所。该会议一年举办一次，由ACM的数据挖掘及知识发现专委会主办。
论文题目：Subspace Selection based Prompt Tuning with Nonconvex Nonsmooth Black-Box Optimization
第一作者：张浩桢 张华林
收录会议：KDD’2024（CCF A）
指导教师：顾彬教授，常毅教授
论文概述：
在自然语言处理（NLP）领域迅速发展的过程中，像GPT-4这样的大型语言模型（LLMs）的出现标志着一个重要的里程碑。与此同时，提示调整（prompt tuning）为利用 LLMs 完成特定下游任务提供了一种参数高效（parameter-efficient）的途径。在本文中，我们提出了一种新的黑盒提示调优框架，该框架结合了子空间学习和选择策略，同时利用无导数优化算法来解决黑盒场景带来的挑战。这种方法对于用户与LLMs的交互仅限于API调用并且用户无法直接访问其内部结构或梯度的情况至关重要。我们的框架重点在于探索连续提示（continuous prompt）的低维子空间。先前关于黑盒提示调优的工作由于随机选择子空间，通常需要大量的API调用。为了解决这个问题，我们将低维子空间选择问题建模为具有非光滑非凸正则项的非凸优化问题，并提出了零阶小批量随机近端梯度方法（ZO-MB-SPG）来应对这一挑战。一个关键的创新是引入了非光滑非凸正则项，这增强了我们选择最佳子空间的能力。实验结果表明，我们提出的黑盒提示调优方法能够以远少于baseline的API调用次数达到相似的性能。
论文题目：Asynchronous Vertical Federated Learning for Kernelized AUC Maximization
收录会议：KDD’2024（CCF A）
作者：Ke Zhang, Ganyu Wang, Han Li, Yulong Wang, Hong Chen, Bin Gu （通讯作者）
论文概述：
由于垂直联邦学习(VFL)在多方协作学习中的应用前景和对隐私保护措施日益增长的需求,使得它受到了越来越多的关注。大多数现有的VFL算法主要将准确率作为训练模型的指标。然而,我们在现实世界中访问的数据往往是不平衡的,这使得基于准确率的模型难以正确分类少数样本。而ROC曲线下面积(AUC)则是评估模型在不平衡数据上表现的有效指标。因此,优化AUC可以提高模型处理不平衡数据的能力。另外,VFL系统内部的计算资源也是不平衡的,这使得同步VFL算法难以在现实世界中应用。为了解决这一双重不平衡问题,我们提出了异步垂直联邦核化AUC最大化(AVFKAM)算法。具体而言,AVFKAM基于成对损失和随机特征逼近，异步更新核模型的三重随机梯度。为了便于理论分析,我们通过系数和目标函数之间的对偶关系,将模型系数的异步转移到了函数梯度上。此外,我们证明AVFKAM以O(1/t)的速率收敛到最优解,其中t表示全局迭代次数,并讨论了模型的安全性。最后,在各种基准数据集上的实验结果表明,AVFKAM保持了高AUC性能和效率。
