.png){kind=icon}
返回
Efficient Classification of Human-Generated vs. Machine-Generated Text Using Lightweight Machine Learning Models
.png){kind=icon}
PRE
AI
DOI：10.1142/S0218213025500174.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本研究提出了一种高效且可解释的方法，用于区分人类撰写的文本与机器生成的内容，采用传统机器学习技术，从而避免了基于Transformer的分类器的计算需求。研究使用了两个数据集以确保泛化性：(1) ROCStories叙事故事与FALCON-7B在三种创造性设置下生成的续写内容配对，以及(2)来自The Indian Times和The Guardian的短新闻文章，由LLaMA-7B在相同设置下续写。预处理包括最小文本清洗（MTC）和高级文本规范化（ATN），随后从TF-IDF、词性分布、命名实体识别（NER）、可读性指标、词汇丰富度、n-gram频率、情感极性、标点符号使用和句法复杂性中提取特征。随机森林（RF）持续表现出最佳性能（准确率高达0.98，AUC/ROC高达0.99），优于Naive Bayes基准。为增强透明度，应用了基于SHAP的可解释性分析，揭示在两个数据集中，可读性指标、词汇丰富度、一元语法以及语言结构（词性和NER）是分类的最强驱动因素。作为对比，GPT-4o和GPT-3.5-Turbo在零样本模式下测试，最高准确率为0.68。这些结果不仅突显了特征工程模型的鲁棒性和计算效率，还强调了其可解释性，表明它们作为轻量级、透明且可靠组件的价值，适用于内容真实性验证至关重要的决策支持系统。
Keyword:
Text classification
machine-generated text detection
advanced linguistic features
random forest classifier
decision support systems
期刊
I
IF:
1
论文数:
38
被引数:
0
机构
引用论文
A Benchmark Dataset to Distinguish Human-Written and Machine-Generated Scientific Papers.png)
Information
OAAI
InformationIF0
OAAI分享收藏
分享收藏分享收藏
查看更多内容