Advancing methods in automatic code switching detection for digital humanities

doi:10.1093/llc/fqag060

Advancing methods in automatic code switching detection for digital humanities

2026-05-01

0

PRE

AI

DOI：10.1093/llc/fqag060

原文链接

原文求助

摘要

En 中文

关于文本中代码转换现象的研究已广泛展开，即指两种或多种语言或语言变体的使用。直到最近，数字人文领域的大多数代码转换研究都是手动标记混合语言，因为自动语言识别方法迄今为止表现过于不可靠而无法使用，尽管对自动方法的研究正在增长。本文旨在通过评估三种复杂度递增的自动方法改进历史和文学文本中第二语言片段的识别方法：词典方法、专用语言识别包和微调的大型语言模型（LLMs）。我们在手动标记的英语文学文本中的法语片段测试案例上评估了这些方法，并报告微调LLMs在实验不同模型中表现出了最高的整体检测率，尽管仍存在特定语言对的方法学问题。我们已发布代码和微调LLMs以协助该语言对的研究，这些方法未来可能扩展至更多语言对和更广泛的应用。最后，我们报告了我们语料库（1814-1920年）中英语文学文本中法语使用的观察结果。

Keyword:

code switching

language identification

large language models

Advancing methods in automatic code switching detection for digital humanities

摘要

期刊

机构

引用论文