中文论文
-
论文题名
-
基于Transformer的预训练语言模型在生物医学领域的应用
-
英文题名
-
-
作者
-
游至宇;阳倩;傅姿晴;陈庆超;李奇渊
-
作者单位
-
厦门大学医学院;健康医疗大数据国家研究院;北京大学健康医疗大数据国家研究院;跨媒体通用人工智能全国重点实验室
-
期刊名称
-
厦门大学学报(自然科学版)
-
CN号
-
-
ISSN
-
0438-0479
-
出版日期
-
2024-09-28
-
卷
-
63
-
期
-
05
-
页码
-
883-893
-
中文关键词
-
自然语言处理;生物医学应用;预训练语言模型;多模态学习;医疗文本挖掘
-
英文关键词
-
-
中文摘要
-
[背景]随着人工智能技术的快速发展，自然语言处理(NLP)已成为生物医学研究领域中的一项关键技术.而基于Transformer框架的预训练语言模型(T-PLMs)已被广泛应用于生物医学文本的分析，有效地推动了临床决策支持系统的发展和基因组学数据的解读.[进展]本文聚焦于T-PLMs在生物医学领域的应用，探讨其在处理和理解生物医学文本数据方面的潜力和挑战.首先回顾NLP技术的演进，从传统的特征工程到预训练语言模型的兴起，特别是BERT等模型如何改变生物医学文本分析的范式；随后详细介绍T-PLMs的训练范式，包括预训练和微调过程，以及如何通过特定领域的预训练和Prompt工程来提升模型在生物医学任务中的性能；进而深入探讨T-PLMs在生物医学领域的多样化应用，包括文本表示和知识挖掘、临床决策支持、医学影像理解、蛋白质预测、分子表示和药物设计等，并特别归纳收集了上述多个生物医学细分领域相关的数据库资料.[展望]当前研究和应用中仍面临许多挑战，如模型可解释性、数据隐私保护、多模态数据等.基于此对未来的研究方向提出展望，以充分发挥NLP在推动生物医学研究和改善患者护理方面的潜力.
-
英文摘要
-
-
参考文献
-
-
基金
-
国家自然科学基金面上项目(82272944)
返回