返回
Security-Augmented Use Case Flow Refinement for LLM-Based Agentic Systems
DOI:10.3390/electronics15184135.png)
摘要
En 中文
与独立评估的传统软件系统和大语言模型(LLMs)不同,基于LLM的代理系统引入了组合性的、工作流层面的攻击面。现有安全分析方法在识别功能用例流程中隐含的安全遗漏以及推导相应的流程细化以直接纳入用例规范方面提供的支持有限。我们提出了安全增强的用例流程细化任务,并提出了MA-SAFR框架,该框架协调红队、蓝队和评论员代理进行威胁锚定、安全分支构建和验证。EvoGraphRAG通过验证反馈适应关系感知检索,而风险特定安全指导(RSSG)提供风险和角色特定的约束。为了支持对该任务的系统评估,我们构建了SAFR-Bench,该基准基于OWASP和MITRE ATLAS,包含157个案例和235个源自源头的威胁-细化对。在三个生成模型中,MA-SAFR与最强的对应基线相比平均改善了所有三个指标;流水线召回率和流水线精确率分别提高了63.44%和54.96%。控制分析表明,RSSG以及gEvoGraphRAG中的反馈驱动图演化改进了下游威胁到防御的转换。尽管在隐含威胁识别、多威胁覆盖和防御对齐方面仍存在挑战,但结果表明MA-SAFR能够支持构建有效的安全增强用例流程。
Keyword:
LLM-based agentic systems
security requirements engineering
use case flow refinement
multi-agent systems
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
引用论文
AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM AgentsDebenedetti, E.; Zhang, J.; Balunovic, M.; Beurer-Kellner, L.; Fischer, M.; Tramèr, F. AgentDojo:一种动态环境,用于评估LLM代理的提示注入攻击和防御。Adv. Neural Inf. Process. Syst. 2024, 37, 82895–82920. [Google Scholar] [CrossRef]
MedAgentBench: A Virtual EHR Environment to Benchmark Medical LLM AgentsMedAgentBench: 用于对医疗LLM代理进行基准测试的虚拟EHR环境
NEJM AI
IF0
FURINA: A Multi-Agent Framework for Automated Patch Correctness AssessmentFURINA:一种用于自动化补丁正确性评估的多智能体框架

