返回
FLAMA: Frame-Level Alignment Margin Attack for Scene Text and Automatic Speech Recognition
DOI:10.3390/electronics15051064.png)
摘要
En 中文
场景文本识别(STR)和自动语音识别(ASR)将视觉或声学信号转换为语言序列,并构成许多现代感知系统的基础。尽管它们的前端和译码器不同(例如,基于CTC、基于注意力或其变体),但两项任务最终都依赖于通过深度学习技术将输入帧与输出标记对齐,这暴露了对对抗性扰动的共同脆弱性。现有攻击通常优化全局序列级目标。因此,关键帧被隐式处理,优化可能在长输入序列上变得不必要地分散,阻碍收敛并影响感知质量。为解决上述问题,我们提出FLAMA,一种统一的帧级对齐边距攻击,可用于STR和ASR模型。FLAMA通过最大化每帧(或每步)识别边距来明确针对对齐。该设计独立于译码器,适用于基于CTC和基于注意力的管道。它采用一种基于识别分数的Step/Halt门控机制,将更新集中在最关键的帧上,并采用一个稳定化阶段,抑制后期迭代的振荡以提升优化稳定性和感知控制。消融分析表明,稳定化能持续提高攻击成功率并减少失真。我们在STR基准(SVT、CUTE80和IC13)上使用CRNN、STAR和TRBA进行评估,并在ASR基准(LibriSpeech)上使用Wav2Vec 2.0模型进行评估。跨模态和架构,FLAMA实现接近100%的攻击成功率,同时显著降低l 2失真并改善与FGSM/PGD基线相比的感知指标。这些结果表明帧级对齐是视觉和音频序列识别器的共同弱点,并表明局部边距目标是为有效序列攻击提供原则性路径。
Keyword:
adversarial attack
scene text recognition
automatic speech recognition
frame-level
margin attack
AI总结
对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
引用论文
Accurate Scene Text Recognition with Efficient Model Scaling and Cloze Self-DistillationMaracani, A.; Ozkan, S.; Cho, S.; Kim, H.; Noh, E.; Min, J.; Min, C.J.; Park, D.; Ozay, M. 使用高效模型缩放和填空自蒸馏进行准确的场景文本识别。载于:2025年IEEE/CVF计算机视觉与模式识别会议(CVPR)论文集,美国田纳西州纳什维尔市,2025年6月11–15日;第14516–14526页。 [Google Scholar] [CrossRef]

