arrow
返回

FLAMA: Frame-Level Alignment Margin Attack for Scene Text and Automatic Speech Recognition

delete2026-03-04
delete0
delete
OA
AI
Y
Yikun Xu *
Z
Zhiheng Xu
P
Pengwen Dai
DOI:10.3390/electronics15051064delete
delete原文链接
delete分享
delete收藏
查看原文
摘要

摘要

En 中文
场景文本识别(STR)和自动语音识别(ASR)将视觉或声学信号转换为语言序列,并构成许多现代感知系统的基础。尽管它们的前端和译码器不同(例如,基于CTC、基于注意力或其变体),但两项任务最终都依赖于通过深度学习技术将输入帧与输出标记对齐,这暴露了对对抗性扰动的共同脆弱性。现有攻击通常优化全局序列级目标。因此,关键帧被隐式处理,优化可能在长输入序列上变得不必要地分散,阻碍收敛并影响感知质量。为解决上述问题,我们提出FLAMA,一种统一的帧级对齐边距攻击,可用于STR和ASR模型。FLAMA通过最大化每帧(或每步)识别边距来明确针对对齐。该设计独立于译码器,适用于基于CTC和基于注意力的管道。它采用一种基于识别分数的Step/Halt门控机制,将更新集中在最关键的帧上,并采用一个稳定化阶段,抑制后期迭代的振荡以提升优化稳定性和感知控制。消融分析表明,稳定化能持续提高攻击成功率并减少失真。我们在STR基准(SVT、CUTE80和IC13)上使用CRNN、STAR和TRBA进行评估,并在ASR基准(LibriSpeech)上使用Wav2Vec 2.0模型进行评估。跨模态和架构,FLAMA实现接近100%的攻击成功率,同时显著降低l 2失真并改善与FGSM/PGD基线相比的感知指标。这些结果表明帧级对齐是视觉和音频序列识别器的共同弱点,并表明局部边距目标是为有效序列攻击提供原则性路径。
Keyword:
adversarial attack
scene text recognition
automatic speech recognition
frame-level
margin attack
AI总结

AI总结

对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

Electronics 封面图
Electronics
IF:
2.6
论文数:
1.1W
被引数:
4.7W

机构

S
sun yat-sen university
学者数:
1.9W
论文数: 6.4K
被引数: 14
C
communication university of china
学者数:
495
论文数: 250
被引数: 0
D
Donghua University
学者数:
2.0W
论文数: 1.4W
被引数: 2.9W
学者 查看更多机构
引用论文

引用论文

An Overview of Noise-Robust Automatic Speech Recognition
err2014-04-01
err421
PREAI
errLi, Jinyu; Deng, Li; Gong, Yifan; Haeb-Umbach, Reinhold
err分享
err收藏
err分享
err收藏
Universal Adversarial Perturbations for Speech Recognition Systems
err2019-09-15
err0
errOAAI
errPaarth Neekhara; Shehzeen Hussain; Prakhar Pandey; Shlomo Dubnov; Julian McAuley; Farinaz Koushanfar
err分享
err收藏
Imperio: Robust Over-the-Air Adversarial Examples for Automatic Speech Recognition Systems
err2020-12-08
err0
errOAAI
errLea Schönherr; Thorsten Eisenhofer; Steffen Zeiler; Thorsten Holz; Dorothea Kolossa
err分享
err收藏
学者 查看更多内容