.png){kind=icon}
返回
LLMs to Augment Evaluators in Scripting Usability Tasks: An Exploratory Study
.png){kind=icon}
OA
AI
DOI：10.1080/10447318.2026.2714305.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
将人工智能（AI）整合到多个领域正在带来一种新场景，即人类与机器合作以实现共同目标。本文进行了一项实证研究，以探索大型语言模型（LLMs）是否能够支持评估者在规划可用性测试中，特别是在脚本任务方面。为实现此目标，我们分析了不同LLMs、提示工程技术和温度设置对此活动的影响。为评估LLMs生成的任务质量，我们进行了一项探索性用户研究，招募了来自学术界和工业界的6名参与者，使用两个原型系统。参与者被要求从四个维度（即功能性导向、实用性、精确度和完整性）对任务进行评估，并分配1到3分的评分。结果表明，LLMs可能支持评估者，但其监督和控制是必要的，以确保任务的质量和有效性。因此，尽管认知卸载和技能退化问题依然存在，人类控制仍然是必要的。
Keyword:
Large language models (LLMs)
usability tests
human-centered design (HCD)
prompt engineering
evaluation
期刊
I
IF:
4.9
论文数:
4.5K
被引数:
1.2W
机构
引用论文
UXAgent: An LLM Agent-Based Usability Testing Framework for Web Design.png)
Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems
Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing SystemsIF0
PREAI
分享收藏分享收藏Can GPT-4o Evaluate Usability Like Human Experts? A Comparative Study on Issue Identification in Heuristic EvaluationGPT-4o能否像人类专家一样评估可用性？一项关于启发式评估中问题识别的比较研究
PREAI
分享收藏
查看更多内容