.png){kind=icon}
返回
Developing foundations for biomedical knowledgebases from literature using large language models – A systematic assessment
.png){kind=icon}
OA
AI
DOI：10.1016/j.csbj.2025.07.042.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
虽然大型语言模型（LLMs）在生物医学应用中展示了有前景的能力，但衡量其在知识提取方面的可靠性仍然是一个挑战。我们开发了一个基准，用于比较在11个与自动知识库开发基础相关的文献知识提取任务中，LLMs在有或没有提供任务特定示例情况下的表现。我们发现LLMs的性能存在显著差异，这取决于技术专业化程度、任务难度、原始信息的分散程度以及格式和术语标准化要求。我们还发现，要求LLMs提供其答案背后的源文本对于克服某些关键挑战是有益的，但将这一要求明确写入提示中是困难的。
Keyword:
Large language models
Biomedical knowledgebases
Prompt engineering
期刊
IF:
4.1
论文数:
689
被引数:
1.4W
机构
引用论文
MTAS: A Reference-Free Approach for Evaluating Abstractive Summarization SystemsZhu, X., Jiang, M., Zhang, X.-Y., Nie, L. & Ding, Z. MTAS: 一种用于评估抽象式摘要系统的无参考方法。ACM软件工程汇刊 1, 2561–2583 (2024)。
.png){kind=icon}
PREAI
分享收藏