创新在大工

【创新在大工】计算机学院信息检索研究室研发“太一”生物医学大模型

2023-10-27

随着ChatGPT的诞生和深度学习技术的迅速发展,基于大模型的人工智能系统在自然语言处理领域取得了显著的进展。面向生物医学领域,大语言模型在提升医生与患者之间的沟通、提供有用的医学信息、辅助诊疗、生物医学知识发现、个性化医疗方案等方面潜力巨大。然而,在人工智能社区,现有开源生物医学大模型相对较少,且大多仅专注于单语(中文或英语)的医疗问答对话任务。

近日,计算机学院信息检索研究室(DUTIR)罗凌、杨志豪、王健、林鸿飞老师及其团队在生物医学大模型领域的研究取得进展,研发了中英双语生物医学大模型——太一(Taiyi),旨在探索大模型在生物医学领域中双语自然语言处理多任务的能力。团队开源了中英双语数据集整理信息、“太一”大模型权重、模型推理使用脚本,并搭建了Demo开放测试,具体信息见项目地址:https://github.com/DUTIR-BioNLP/Taiyi-LLM。

1.png

“太一”大模型整体框架图

“太一”大模型通过问答对话形式与用户进行交互,可进行病情咨询、疾病预防、药物咨询、信息抽取等多种丰富生物医学主题相关任务,有助于更有效地管理生物医学信息,提高医疗决策的质量,提升生物医学教育的效果等,为智慧医疗领域带来了很多的可能性。“太一”大模型具有三大特点:丰富的生物医学训练资源,团队收集整理了丰富的中英双语生物医学自然语言处理(BioNLP)训练语料,其中包含38个中文数据集,102个英文数据集,覆盖十余种生物医学任务。出色的中英双语多任务能力,通过丰富的中英双语任务指令数据(超过100W条样本)进行微调,使模型具备较出色的双语生物医学智能问答、医学对话、报告生成、信息抽取、机器翻译、标题生成、文本分类等多种BioNLP能力。优秀的泛化能力,除生物医学领域外,模型仍具备通用领域对话能力,并通过设计指令模板的多样性,使模型具备了较优秀的指令理解能力,在同类任务的不同场景下具有较好的泛化能力,并激发了模型一定的零样本学习能力。

部分样例展示


2.png

智能问答和对话能力

3.png

信息抽取能力

4.png

机器翻译能力

与现存的生物医学领域大模型侧重于单语医疗问答对话任务不同,“太一”不仅在双语对话问答方面表现出色,还利用丰富的高质量人工标注生物医学数据集进行指令微调,挖掘了大模型在生物医学领域的多任务潜力。这使得“太一”在处理现实生物医学复杂场景任务时更有通用性,并为智慧医疗领域的发展带来了更多可能性。

尽管“太一”在多项BioNLP任务上展示了优良的性能,但一些复杂任务(如医疗报告生成、事件抽取等)效果还有很大提升空间。此外,目前“太一”大模型仍存在大模型的一些常见缺点,例如误解、幻觉、信息有限性、偏见、多轮长对话能力较不稳定、话题转换能力弱等。在未来的工作中,团队也将在增量预训练、强化学习性能增强、可解释性、安全性等方面进一步深入研究,以提升“太一”的能力。

来源:电子信息与电气工程学部
编辑:常思萌 王一婷
审核:王增强