人工智能学院杨溪老师和常毅老师共同指导的2020级硕士研究生唐川的论文《Parts2Words: Learning Joint Embedding of Point Clouds and Texts by Bidirectional Matching between Parts and Words》被CCF-A类会议CVPR 2023接收。CVPR，全称为计算机视觉和模式识别会议( IEEE / CVF Computer Vision and Pattern Recognition Conference)，该会议固定在每年的6月举行，由IEEE主办。CVPR是计算机视觉领域的顶级国际会议。
唐川同学一直从事三维计算机视觉相关的研究工作，本篇工作与美国Wayne State University的Zhizhong Han老师和浙江大学的Bojian Wu老师合作完成。
论文详情：
论文题目：Parts2Words: Learning Joint Embedding of Point Clouds and Texts by Bidirectional Matching between Parts and Words
第一作者：唐川
会议名称：IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR 2023)
会议类别：CCF A类会议
论文概述：形状-文本匹配是高级形状理解的重要任务。当前的方法主要是将3D形状表示为多个2D渲染视图，但由于有限数量的视图中自遮挡造成的结构模糊，显然无法很好地理解。为了解决这个问题，我们直接将3D形状表示为点云，并提出通过形状部分和文本单词之间的双向匹配来学习点云和文本的联合嵌入。具体来说，我们首先将点云分割成部分，然后利用最优传输方法在优化的特征空间中匹配部分和单词，其中每个部分由其内部所有点的特征聚合而成，每个单词由其上下文信息抽象而成。我们优化特征空间以增大配对训练样本之间的相似度，同时最大化不配对样本之间的边距。实验表明，我们的方法在Text2Shape数据集下的多模态检索任务上比SOTA方法有了显著的准确率提升。
