Leveraging large language models for data analysis automation

Jacqueline A. Jansen

doi:10.1371/journal.pone.0317084

2025-02-21

Jacqueline A. Jansen

Artür Manukyan

Nour Al Khoury

DOI：10.1371/journal.pone.0317084

原文链接

原文求助

摘要

En 中文

数据分析受到专业人才短缺的制约，尤其是在生物学领域，详细的数据分析和随后的解释对于理解复杂的生物过程以及开发新的治疗方法与诊断手段至关重要。解决专家短缺问题的一种可能方案是利用大型语言模型（LLMs）来生成数据分析流程。然而，尽管LLMs在代码生成任务中表现出巨大潜力，但在面对领域专家问题（如与组学相关的数据分析问题）时，LLMs的准确性问题仍未得到解答。为解决这一问题，我们开发了mergen，一个利用LLMs进行数据分析代码生成和执行的R软件包。我们通过多种基因组学数据分析任务评估了该数据分析系统的性能。我们的主要目标是使研究人员能够通过清晰的文本描述其目标及特定数据集的期望分析，从而进行数据分析。我们的方法通过专门的提示工程和错误反馈机制改进了代码生成。此外，我们的系统能够执行LLMs指定的数据分析流程，并提供数据分析流程的结果供人工审核。对该系统的评估表明，虽然LLMs能有效为某些数据分析任务生成代码，但在可执行代码生成方面仍存在挑战，尤其是在复杂数据分析任务中。性能最佳的是自修正机制，在任务复杂度为2时，自修正使可执行代码的比例相较于简单策略提高了22.5%；对于复杂度3、4和5的任务，这一提升分别为52.5%、27.5%和15%。通过卡方检验，表明不同提示策略之间存在显著差异。本研究有助于更深入地理解LLMs的能力与局限性，为其有效整合到数据分析流程中提供了软件基础设施和实践见解。