LowResNLTK: A Python framework for simplifying low-resource natural language processing pipelines

doi:10.1016/j.softx.2026.102713

LowResNLTK: A Python framework for simplifying low-resource natural language processing pipelines

2026-06-01

0

OA

AI

A

Al Kafi, Md Abdullah *

DOI：10.1016/j.softx.2026.102713

原文链接

查看原文

摘要

En 中文

低资源自然语言处理（NLP）的研究人员经常花费大量时间在训练流程的工程化上，而不是专注于数据收集、预处理和语言分析等关键任务。我们通过引入LowResNLTK解决了这一瓶颈，这是一个轻量级的开源Python框架，它将数据处理与模型训练分离。LowResNLTK抽象了复杂的工程障碍，使研究人员能够使用高级API以最少的样板代码训练最先进的转换器模型。该框架原生支持常见的NLP任务，如词性标注、句子分类和序列到序列建模，同时保持模型性能的完全透明。我们在多语言环境下对分类、词性标注、命名实体识别和机器翻译等任务进行了评估。经验验证一致表明，LowResNLTK在这些语言上的性能与标准实现相当，同时减少了开发开销。

Keyword:

Low-resource NLP

Natural language processing

Part-of-speech tagging

Sentence classification

Transformer models

Bangla NLP

LowResNLTK: A Python framework for simplifying low-resource natural language processing pipelines

摘要

AI总结

期刊

机构

引用论文