近日,在爱尔兰都柏林举办的ACM国际多媒体会议(ACM International Conference on Multimedia, ACM MM 2025)上,我校人工智能与自动化学院师生夺得第三届REACT国际挑战赛(The REACT 2025 Multiple Appropriate Facial Reaction Generation Challenge)冠军。
团队由刘小峰教授指导,王彭、薛普俊、季彤娟三位硕博研究生组成。团队提出了“Explaining Listener Reactions: Personality-Guided Facial Response Generation with Cross-Modal Attention”(解释听者反应:基于人格引导与跨模态注意力的面部反应生成)框架。该框架融合了说话者多模态线索与听者人格特质:通过行为记忆模块记录对话历史,并引入“人格识别风格”建模与跨模态注意力机制,使模型能在不同个体与语境下生成更自然、个性化的听者反应。在REACT 2025基准测试中,该方法在适当性、多样性、同步性等多项评价指标中均取得卓越成绩。
本次挑战赛是多媒体与人机交互领域的重要国际赛事,由ACM Multimedia 2025联合举办。赛事聚焦“多重适当面部反应生成”这一关键问题,要求参赛队伍开发机器学习模型,使机器在对话语境中为听者生成多样、合宜且同步的面部反馈。该任务的核心挑战在于如何让模型在理解说话者意图的基础上,实现更具共情能力和个性化的人机交互。
