.png){kind=icon}
返回
Replacing Batch Normalization with Memory-Based Affine Transformation for Test-Time Adaptation
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14214251.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
批归一化（BN）已成为现代深度神经网络的基础组件。然而，其一个缺点是依赖于批统计量，这些统计量在推理阶段可能不可靠或不可用，尤其是在测试时域偏移的情况下。虽然无批统计量的仿射变换方法通过学习样本级的缩放和平移参数来缓解这一问题，但大多数方法将样本视为独立处理，忽略了流式或幕式测试时设置中的时序或序列相关性。我们提出了LSTM-Affine，这是一种基于记忆的归一化模块，用循环参数生成器替代BN。通过利用LSTM，该模块根据当前输入及其历史背景生成通道级的仿射参数，能够逐步适应演变中的特征分布。与传统的无批统计量设计不同，LSTM-Affine捕获连续样本间的依赖关系，在渐变分布偏移的场景中提高了稳定性和收敛性。在少样本学习和源无关域适应基准上的广泛实验表明，LSTM-Affine一致优于BN及先前的无批统计量基线，尤其是在适应数据稀缺或非平稳时表现更为突出。
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.6
论文数:
1.0W
被引数:
4.7W
机构
查看更多机构
引用论文
Ba, J.L.; Kiros, J.R.; Hinton, G.E. Layer normalization. arXiv 2016, arXiv:1607.06450v1. [Google Scholar] [CrossRef]Ba, J.L.; Kiros, J.R.; Hinton, G.E. 层归一化. arXiv 2016, arXiv:1607.06450v1. [Google Scholar] [CrossRef].png)
IF0
PREAI
分享收藏Li, Y.; Wang, N.; Shi, J.; Liu, J.; Hou, X. Revisiting Batch Normalization for Practical Domain Adaptation. arXiv 2016, arXiv:1603.04779v4. [Google Scholar] [CrossRef]Li, Y.; Wang, N.; Shi, J.; Liu, J.; Hou, X. 重访批量归一化在实践领域自适应中的应用。arXiv 2016, arXiv:1603.04779v4. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏分享收藏Gradient-based learning applied to document recognition基于梯度的学习在文档识别中的应用PROCEEDINGS OF THE IEEE
PROCEEDINGS OF THE IEEEIF25.9
PREAI
分享收藏Human-level concept learning through probabilistic program induction通过概率程序归纳进行人类水平的概念学习SCIENCEOAAI
SCIENCEIF45.8
OAAI分享收藏 没有更多内容