2024级博士研究生孔贺的论文近日被智能交通领域顶级期刊IEEE TITS（IEEE Transactions on Intelligent Transportation Systems）接收。IEEE TITS是智能交通领域最具影响力的期刊之一，发表高质量、具有创新性的研究成果，广受学术界和工业界认可。孔贺同学的研究方向为强化学习、大模型智能体及其应用。
论文题目：ADAC: Actor-Double-Attention-Critic for Multi-agent Cooperation in Mixed Cooperative-competitive Environments
第一作者：孔贺
指导教师：王琪
论文概述：在多智能体深度强化学习中，混合合作-竞争任务中的协作问题引起了广泛关注。这一混合场景在智能交通中也非常常见。然而，大多数现有方法对合作智能体与竞争智能体一视同仁，对所有智能体采取相同的操作方式。因此，在未区分合作与竞争智能体的情况下，这些方法在学习最优合作策略时可能会遭遇信息混乱的问题，导致智能体在决策下一步动作时陷入困境。为了解决上述问题，我们将最终的Q值分解为三部分的加权组合：合作群体的Q值、竞争群体的Q值以及当前智能体的Q值，并提供了该分解合理性的理论证明。基于此，我们提出了一种演员双评论家算法ADAC，该算法基于集中训练与分布式执行架构实现。ADAC 设计了具有群体特异性注意力机制的网络结构以及一个注意力加权网络，通过双重注意力结构，能够有效捕捉来自不同智能体的信息分布，从而提升协作性能。结果表明，ADAC 模型在多种混合合作-竞争任务中相较于现有的先进方法表现出更优越的性能。
