Optimized text generation using Markov models

doi:10.47974/jios-2294

Optimized text generation using Markov models

2026-05-01

0

PRE

AI

Y

Yadav, J. J. C. Prasad *

K

Kumar, R. Raja

DOI：10.47974/jios-2294

原文链接

原文求助

摘要

En 中文

许多资源匮乏且形态丰富的印度语言难以从自然语言处理（NLP）中特征表示的最新进展中受益，因为缺乏大规模标注语料库和稳健的基准。自然语言生成（NLG）或文本生成是NLP的一个子领域。马尔可夫链是一种随机模型，它仅基于当前状态预测未来状态，利用随机概率分布。由于其下一个状态仅取决于当前状态，不受先前状态的影响，因此它计算效率高、执行速度快且内存需求低。在本文中，我们实现了1）基于马尔可夫链的词级文本生成模型和2）借助强化学习实现的基于马尔可夫链的字符级文本生成模型。我们使用了[1]中使用的泰卢固语数据集进行实验。我们使用两种方法分别生成输入文本的20%、30%和50%作为摘要。这些生成的摘要用于文本分类并评估结果。我们的方法被证明具有计算效率。

Keyword:

Markov chain

Reinforcement learning

Text generation

Dimensionality reduction

Text classification

Optimized text generation using Markov models

摘要

期刊

机构

引用论文