.png){kind=icon}
返回
A Generalizable Framework for Building Executable Domain-Specific Large Language Models Under Data Scarcity: Demonstration on Semiconductor Technology Computer-Aided Design Simulation
.png){kind=icon}
OA
AI
DOI：10.1002/aisy.70520.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
科学和工程领域常常面临数据稀缺和严格的可执行性要求：模型不仅需要生成流畅的文本，还必须生成语法有效且工具可编译的脚本。我们提出了一种基于模式的对齐框架，用于在低资源环境下构建紧凑、可执行的领域特定大型语言模型（LLM）。该框架整合了三个核心组件：（i）从专家文档生成大规模合成问答（QA）数据，以植入基础领域知识；（ii）一个以代码为中心的中间表示（IR）→直接偏好优化（DPO）工作流，将验证的工具代码转换为可解释的中间表示，执行保持等价性的多样化并构建偏好对，以直接优化指令合规性和代码可执行性；（iii）对检索增强生成（RAG）的受控评估，表明虽然RAG对通用LLM有益，但可能轻微降低已对齐领域模型的性能。我们通过为半导体技术计算机辅助设计（TCAD）实例化TcadGPT来演示该框架。使用150万合成QA对和一个IR驱动的DPO数据集，TcadGPT在SDE可执行性测试中达到85.6%的语义准确率和85.0%的语法通过率，显著优于当前最先进的通用LLM（如GPT-4o）。为探索TCAD以外的可移植性，我们将相同方法应用于开源有限元求解器Elmer，观察到其在脚本级成功率上相比通用基准的持续改进。所有数据集、基准和代码（包括P1、P2和IR→DPO）均已发布以供复现。综合来看，这些结果表明所提出的框架为在专业且数据稀缺的领域构建可执行LLM提供了稳健且可复现的路径。
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
6.1
论文数:
2.0K
被引数:
8.4K
机构
引用论文
A Machine Learning Approach for Optimization of Channel Geometry and Source/Drain Doping Profile of Stacked Nanosheet Transistors一种用于优化堆叠纳米片晶体管通道几何形状和源/漏掺杂剖面的机器学习方法
PREAI
分享收藏Prediction of FinFET Current-Voltage and Capacitance-Voltage Curves Using Machine Learning With Autoencoder使用自动编码器机器学习方法预测FinFET的电流-电压和电容-电压曲线
PREAI
分享收藏MOBO-Driven Advanced Sub-3-nm Device Optimization for Enhanced PDP PerformanceMOBO驱动的先进亚3纳米器件优化以增强PDP性能
PREAI
分享收藏分享收藏Developing large language models for quantum chemistry simulation input generation.png)
DIGITAL DISCOVERY
OAAI
DIGITAL DISCOVERYIF5.6
OAAI分享收藏 没有更多内容
没有更多内容