Introducing Information Metrics for Statistical Signal Processing [Lecture Notes]

Steven Kay

doi:10.1109/MSP.2025.3537762

2025-03-01

PRE

Steven Kay

Kaushallya Adhikari

DOI：10.1109/MSP.2025.3537762

原文链接

原文求助

摘要

En 中文

统计信号处理涉及从随机观测中提取信息，这是一项高度依赖量化数据中信息量的度量的任务。这些度量对于雷达、声纳和通信等领域的实践者和研究人员至关重要。随着时间的推移，已引入了若干关键信息度量，通常使用不同的名称。本教程描述了基本的信息度量——Kullback–Leibler散度（KLD）、Fisher信息（FI）和互信息（MI），探讨它们之间的关系，并展示它们在估计和检测问题中的相关性。本文以白高斯噪声（WGN）中的恒定幅度信号为例说明这些概念，并讨论了这些度量在更一般场景下的渐近行为。此外，它提出了最小判别信息（MDI）定理，该定理指出在均值约束下使KLD最小的概率密度函数（PDF）属于线性指数族。本教程最后探讨了条件性原理，揭示了KLD、信噪比（SNR）和MI之间的深刻关系及其在多径环境中的检测改进方面的意义。

Keyword:

Kullback–Leibler divergence

Fisher information

Mutual information

Statistical signal processing

Minimum discrimination information