.png){kind=icon}
返回
Human-Inspired Computing for Robust and Efficient Audio-Visual Speech Recognition
.png){kind=icon}
PRE
AI
DOI：10.1109/TC.2025.3582069.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
人类在视听语音识别（AVSR）方面表现出色，这推动了启发式计算的发展，以构建鲁棒且高效的AVSR模型。脉冲神经网络（SNNs）通过模拟大脑的信息处理机制，为该领域提供了有前景的基础。然而，基于SNN的AVSR研究仍有限，大多数视听方法集中于物体或数字识别。这些方法过度简化了多模态融合，忽视了模态特定的特征和交互。此外，它们通常依赖未来信息，增加了识别延迟并限制了实时应用。受人类语音感知启发，本文提出了一种新型启发式SNN——HI-AVSNN用于AVSR，整合了三种计算特性：脉冲活动、提示交互和因果处理。对于提示交互，我们引入了脉冲驱动的视觉提示语音处理（sVCSP）方案，其中视觉特征分层指导语音处理以增强关键特征。对于因果处理，我们将SNN的时间维度与视听输入对齐，并应用时间掩码以确保仅使用过去和当前信息。对于脉冲活动，除SNNs外，我们还整合了事件相机来捕捉唇部运动作为脉冲，高效编码类似人类视网膜的视觉数据。在两个基于事件的AVSR数据集上的实验表明，我们的方法优于现有的视听SNN融合技术，展示了通过启发式计算实现的有效性、鲁棒性和效率。
Keyword:
Neuromorphic computing
spiking neural networks
event cameras
audio-visual speech recognition
期刊
IF:
3.8
论文数:
5.4K
被引数:
9.8K
机构
引用论文
Multimodal Learning of Audio-Visual Speech Recognition with Liquid State Machine基于液态状态机音频-视觉语音识别的多模态学习
PREAI
分享收藏Towards spike-based machine intelligence with neuromorphic computing基于神经形态计算的基于尖峰的机器智能.png)
Nature
NatureIF0
PREAI
分享收藏Audio-Visual Active Speaker Extraction for Sparsely Overlapped Multi-Talker SpeechICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
OAAI
ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏
查看更多内容