Parallel Bilingual Datasets: A Multimodal Deep Learning Framework for Proficiency and Style Classification

Kesavan, Padmavathi

doi:10.3390/mti10050047

Parallel Bilingual Datasets: A Multimodal Deep Learning Framework for Proficiency and Style Classification

2026-04-30

0

PRE

AI

K

Kesavan, Padmavathi

T

Travis, Miranda Lakshmi

DOI：10.3390/mti10050047

原文链接

原文求助

摘要

En 中文

本研究提出了一种用于自动评估平行双语泰米尔-印地语学习者数据的熟练度和风格分类的多模态深度学习框架。所提出的系统采用双头神经网络架构，利用共享特征表示同时预测熟练度水平（基础、高级）和风格类别（正式、文学）。研究中使用了精心整理的双语文本样本数据集，并通过文本转语音（TTS）生成合成语音，以实现可控的多模态实验。在仅文本、仅音频和可学习融合三种设置下评估了五种深度学习架构。实验结果表明，基于文本的模型在熟练度和风格分类任务中均表现出色；相比之下，仅音频模型效果有限，突显了合成声学特征在捕捉有意义语言信息方面的局限性。融合模型仅在文本方法基础上提供了微小的改进，表明在可控数据集中，文本表示在熟练度和风格分类中起主导作用。这些结果强调了在低资源环境下，语言特征比声学信号对自动语言评估更为重要。该框架提供了一种可扩展且可复现的方法，并为未来整合真实语音数据和更多样化语言输入的研究奠定了基础。

Keyword:

multimodal learning

language proficiency classification

style classification

deep learning

Tamil-Hindi dataset

Parallel Bilingual Datasets: A Multimodal Deep Learning Framework for Proficiency and Style Classification

摘要

期刊

机构

引用论文