.png){kind=icon}
返回
Transmodal Analysis
.png){kind=icon}
OA
AI
DOI：10.18608/jla.2025.8423.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
学习是一个多模态过程，学习分析（LA）研究人员可以方便地获取来自多种模态的丰富学习过程数据，包括面对面互动的音视频记录或转录文本；在线活动的日志文件和消息；以及生物测量数据，如眼动追踪、运动和皮肤电反应。尽管学习分析中使用了多种技术来建模不同类型的学习过程数据——其中大多数是状态依赖（或状态空间）方法，将学习过程在任意给定时间建模为先前事件的功能——但构建多模态模型迄今为止依赖于不同数据流的融合，这会将多模态数据转换为单模态格式。这为多模态建模带来了若干问题，其中最重要的是它将不同的数据模态视为等价的。也就是说，现有的融合数据的状态依赖模型难以解释：（a）某些事件可能根据未来事件的内容及其发生情境对后续事件产生不同影响；（b）事件如何对某些学习者群体产生差异化影响；（c）哪些事件对哪些学生是可见的（并因此可能产生潜在影响）。在本文中，我们提出跨模态分析（TMA），这是一个旨在解决这些挑战的数学和计算框架。TMA并非数据分析方法，而是一种建模方法，能够增强现有学习过程的状态依赖模型，以在不进行数据融合的情况下处理多模态数据。我们提供了TMA的概念和方法学描述，并在附录中包含一个详细的实例作为概念验证。尽管该方法仍处于早期发展阶段，但它有望显著提升学习过程多模态分析的便捷性、效率与公平性。
Keyword:
Multimodal data
transmodal analysis
data fusion
data transfusion
temporal influence functions
horizon
functions
