Feature survival under weight pruning: Sparse autoencoder diagnostics for compressed language models

2026-08-14

0

OA

AI

DOI：10.1016/j.neucom.2026.134826

原文求助

摘要

En 中文

• 稀疏自编码器探究剪枝是否保留LLM特征结构。 • Wanda比幅度剪枝更好地保留SAE特征几何结构。 • 低激活率SAE特征比高激活率特征更易在剪枝后存活。 • 激活率是特征脆弱性的一个简单预剪枝指标。 • 几何特征的存活不预测局部擦除的影响。

Keyword:

Sparse autoencoders

Model compression

Neural network pruning

Representational robustness

Language models