.png){kind=icon}
返回
Automating Performance Testing in CI/CD- Tools Evaluation
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-05188-2_13.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
性能测试是现代软件开发生命周期中的关键组成部分。它确保应用在典型负载下的稳定性以及在异常条件下的恢复能力。由于性能测试耗时较长，因此通常将其集成到DevOps CI/CD管道中以加速软件交付并减少测试延迟。尽管先前研究已探讨将性能测试集成到CI/CD中，但测试工具本身对管道性能的影响仍 largely unexplored。本研究评估了五种广泛使用的开源性能测试工具（Apache JMeter、Grafana K6、Gatling、Locust和Artillery）在集成到基于Jenkins的CI/CD管道的Spring Boot Java应用中的影响。我们设计了并执行了基于三种常见负载测试方法的自动化管道测试：代表性负载、最大负载和尖峰负载。在测试过程中，我们测量了系统级指标（CPU和RAM使用率）和业务级指标（响应时间）。为评估观察到的差异的显著性，我们应用了两种非参数统计方法：KruskalWallis检验和Bonferroni校正的MannWhitney U检验。我们的分析证实，不同工具之间的性能指标差异具有统计学意义（p值 < 0.05）。在测试的工具中，Grafana K6在所有测试场景中均表现出最高的资源效率。本研究贡献：i. 在CI/CD背景下对性能测试工具的比较分析。ii. 一个带实时监控的负载测试自动化管道框架。iii. 基于效率和易用性选择最合适工具的实用建议。
Keyword:
Performance Testing
CI/CD
DevOps
Jenkins