人工智能学院2021级博士研究生王博的论文被ACL'2025接收

发布时间:2025-05-16 点击:

ACL 2025 (The 63rd Annual Meeting of the Association for Computational Linguistics)将于2025727日至81日于奥地利维也纳举行。ACL是自然语言处理领域最具影响力的国际会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。该会议每年举办一次,由国际计算语言学学会协会(The Association for Computational Linguistics)主办。


论文题目: Unveiling Privacy Risks in LLM Agent Memory

第一作者:王博(2021级博士)

收录会议:ACL 2025 Main (CCF-A)

导师:常毅


论文概述:LLM Agent已在各种现实世界应用中广泛普及,它们通过在记忆模块中存储用户与Agent的私密交互数据,为自身提供示例,从而增强决策能力。然而,这一机制也带来了新的隐私风险。本文揭示了一种尚未被深入研究的隐私风险:LLM Agent的记忆模块在黑盒环境下即极易受到攻击,导致用户的敏感私密信息存在泄露风险。本文提出了一种名为MEXTRAMemory EXTRaction Attack)的黑盒攻击方法。MEXTRA利用精心设计的攻击提示(attacking prompt)和自动化生成方法,能够有效抽取LLM Agent Memory中存储的用户隐私数据。实验在医疗和线上购物两个典型的现实应用场景下进行。在有限的攻击次数内,MEXTRA 能够成功提取超过30% 的记忆模块内容,验证了MEXTRA在窃取LLM Agent Memory中的用户隐私数据方面的有效性。此外,本文从Agent 端和攻击者端两个角度探讨了影响Memory泄露的关键因素。实验结果表明,LLM 代理在设计和部署过程中,亟需加强记忆保护机制,以防止潜在的隐私泄露风险。