为服务杭州亚运会，践行“智能”办赛理念，在北京大学黄铁军教授、仉尚航研究员的指导下，北京大学庄棨宁学生团队基于多模态大模型研究，结合视觉、语言、语音等多种模态输入，推出AI多语种解说系统，为观众提供丰富的观赛体验。
竞赛解说员不仅会在解说中提供关于球队和运动员的相关信息，还能够深入分析比赛，介绍比赛战术和技巧，帮助观众更好地理解比赛。
2023年10月2日，中国选手王楚钦在杭州亚运会乒乓球男子单打决赛中。（新华社记者 王鹏 摄）
北京大学学生团队为帮助应对大赛期间比赛项目多、小语种需求大等问题，面向乒乓球、跆拳道、跳水、体操等赛事，推出AI多语种解说系统。据介绍，该系统可以辅助录播频道调用多模态大模型，理解视频内容，生成中文、英语、阿拉伯语等多语种解说，扩大覆盖人群。
庄棨宁介绍，这一技术通过高速摄像机的脉冲信号检测场景物体和运动员，能够捕捉体育比赛中的关键时刻，生成高质量的集锦和相关数据，并基于多模态大模型算法和深度学习模型进行分析，根据分析结果提供个性化解说服务。
图为在杭州市区应用的具身智能机器人软件服务系统。（受访者供图）
此外，该团队在杭州亚运会期间应用具身智能机器人软件服务系统，为视障及有需求的人士提供导航指引等服务。
“该系统基于感知生成一体化多模态大模型，能够感知与理解场馆内外的视觉场景，生成丰富的语言描述，控制机器人执行服务任务。”庄棨宁说，“很荣幸能将我们的所学、所研转化为可以服务每个人的应用，让AI服务人们的日常生活，助力杭州亚运会。”
（编辑：王星）
凡本网注明“来源：企业观察网”的所有作品，均为《企业观察报》社有限责任公司合法拥有版权或有权使用的作品，未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：企业观察网”。违反上述声明者，本网将追究其相关法律责任。凡本网注明“来源：XXX（非企业观察网）”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如其他媒体、网站或个人转载使用，须保留本网注明的“稿件来源”，并自负法律责任。如因作品内容、版权和其它问题需要同本网联系的，请在相关作品刊发之日起30日内进行。联系方式：010-68719660。
