4月14日晚，复旦大学/上海创智学院教授、中国人工智能学会会士邱锡鹏，复旦大学副研究员桂韬做客“百川讲堂”270期暨大连理工大学AI赋能高等教育论坛第4期，带来主题讲座《语音大模型SpeechGPT》《推理智能体》。各学院、书院的青年学生、教师、百川会员等200余人到场聆听讲座。

邱锡鹏在《语音大模型SpeechGPT》讲座中指出，语言不仅是语法符号的集合，更是人类知识体系的压缩形态。他以大语言模型为例解释，语言通过离散化切割可将物理世界规律映射到数字空间，使得模型能够通过预测下一个词的任务掌握常识与逻辑。这种以语言为媒介的知识迁移，正是通用人工智能实现的重要路径。邱锡鹏提出其团队研发的“SpeechGPT”通过“端到端”语音离散化技术，突破传统ASR+TTS架构的信息损耗，实现语音情绪、语境的无损建模。这种跨模态融合推动了拟人化语音交互模型的实现，为全模态大模型的构造迈出了重要的一步。

大模型就像洞穴囚徒，文本只是真实世界的二次投影。桂韬在《推理智能体》讲座中强调，物理世界交互能力是AI突破文本局限的关键，传统强化学习依赖人工标注反馈，进化方向有局限性。桂韬提出通过让智能体在虚拟环境中的自主探索，其团队开发的AGG平台通过统一环境奖励信号，让模型在购物、实验等复杂任务中实现无监督学习。“就像人类通过反复试错学会走路，智能体需要在环境反馈中自主发现规律”。

互动环节，邱锡鹏与桂韬围绕多模态资源化、模型训练数据量级、类人智能判定及幻觉问题解决策略和听众展开深入交流。分享如何攻克语音离散化瓶颈、实现端到端语音合成的突破，揭示大模型技术从单模态向多模态演进、从被动生成向自主推理跨越的发展趋势。

讲座最后，校团委书记刘精晶为邱锡鹏、桂韬颁发“百川讲堂”纪念牌。