.png){kind=icon}
返回
Model Checking Using Large Language Models-Evaluation and Future Directions
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14020401.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型（LLMs）如ChatGPT近年来日益受到关注，这促使有必要分析其在各种任务中的优势和局限性。本研究的目标是评估大型语言模型在模型检测任务上的性能，模型检测被广泛应用于软件和硬件验证等众多关键任务中。本研究提出了一套问题作为基准，并对三种LLMs（GPT-4、Claude和Gemini）解决这些问题的能力进行了评估。评估通过将三种LLMs的响应与模型检测工具提供的黄金标准进行比较来完成。结果表明，LLMs在这些任务中存在局限性，并指明了未来研究的方向。具体而言，最佳整体性能（正确解决问题的比例）为60%，表明LLMs存在较高的推理错误概率，尤其是在处理需要多步推理的复杂场景时，而LLMs在为解决问题生成脚本时通常表现优于直接解决问题。
Keyword:
model checking
large language models
non-monotonic reasoning
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
引用论文
Knowledge Graph Reasoning via Dynamic Subgraph Attention with Low Resource Computation基于低资源计算的动态子图注意力知识图推理.png)
NEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏分享收藏
查看更多内容