在三维场景里实现精准定位，通过图像与声音的结合完成场景分析……中科院自动化研究所发布“紫东太初”全模态大模型，并首次对外实时展示了该模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能。
这是记者6月16日在“人工智能框架生态峰会2023”上了解到的信息。
中科院自动化研究所所长徐波介绍，“紫东太初”全模态大模型是在多模态大模型“紫东太初”1.0基础上升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、信号、3D点云等模态数据，研究突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力。
“紫东太初”2.0可以理解三维场景、信号等数字物联时代的重要信息，完成了音乐、图片和视频等数据之间的跨模态对齐，能够处理音乐视频分析、三维导航等多模态关联应用需求，并可实现音乐、视频等多模态内容理解和生成。
“从1.0到2.0，‘紫东太初’大模型打通了感知、认知乃至决策的交互屏障，使人工智能进一步感知世界、认知世界，从而延伸出更加强大的通用能力。”徐波说。
目前，“紫东太初”大模型在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域展现出一定的产业应用前景。
比如，在医疗场景，“紫东太初”大模型部署于神经外科机器人MicroNeuro，可实现在术中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断。
（编辑：王星）
凡本网注明“来源：企业观察网”的所有作品，均为《企业观察报》社有限责任公司合法拥有版权或有权使用的作品，未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：企业观察网”。违反上述声明者，本网将追究其相关法律责任。凡本网注明“来源：XXX（非企业观察网）”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如其他媒体、网站或个人转载使用，须保留本网注明的“稿件来源”，并自负法律责任。如因作品内容、版权和其它问题需要同本网联系的，请在相关作品刊发之日起30日内进行。联系方式：010-68719660。
