常毅教授指导的2019级硕士研究生夏婷玉同学的论文"Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks"被CCF-A类会议WWW 2021接收。
夏婷玉本科就读于吉林大学软件学院，从大学四年级起开始接受常毅老师指导，2019年保研至人工智能学院跟随常毅老师攻读硕士，从事数据挖掘与自然语言处理领域的研究工作。
本篇论文与美国北卡罗莱纳州立大学教堂山分校王悦助理教授以及本校田原助理教授合作完成。
第一作者：夏婷玉
论文题目：Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks
会议名称：30th The Web Conference (WWW 2021)
会议类别：CCF A类会议
会议时间：April 19-23, 2021, Ljubljana, Slovenia.
会议背景：WWW，全称为国际万维网大会（The Web Conference) ，是互联网技术领域最重要的国际会议之一，由国际万维网会议委员会（IW3C2）和主办地地方团队合作组织，每年举办一届。万维网（World Wide Web）的构想最早由英国软件天才蒂姆·伯纳斯-李（现为美国麻省理工学院研究员、英国南安普顿大学计算机系教授）于1989年3月向欧洲核子研究中心主管提出，被公认为是促使互联网迅速发展的重要发明。互联网的诞生早于万维网15年，但起初因使用技术复杂难以普及。万维网借助超文本链接，把不同电脑上的文本、图像、声音等文档链接在一起，使人们不必受电脑操作系统类别和地域等限制，即可自由浏览和分享信息，互联网的操作因而大大简化。
论文简介：在文本相似性任务中，通过探究BERT模型本身拥有哪些知识，分析在BERT模型的哪些位置需要哪些知识。从而进一步将现有的先验知识注入到BERT的多头注意力机制中，在没有额外增加新的训练任务的同时提升模型的效果。实验表明，我们的工作在面对稀疏的训练数据时可以在不牺牲训练成本的同时，提高文本语义相似性任务的分类准确率。
