.png){kind=icon}
返回
Speaker Group Encoding in Self-supervised Speech Recognition Models
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-02548-7_11.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们研究了自监督语音识别模型（S3M）对说话人群体（SG）的学习情况。我们考察了S3M的几种状态：预训练、针对说话人识别（SID）进行微调，以及使用公平性增强算法进行微调的自动语音识别（ASR）。我们发现S3M编码了关于多个说话人群体类别（SGC）的信息，包括他们的性别、年龄、方言、种族以及是否为母语者。我们发现，针对SID的微调会放大某些SGC，特别是那些变异性更具有语音学性质的SGC。与此同时，针对ASR的微调会丢弃语音学变异的说话人群体信息（SGI），但保留了语义学变异的SGI。我们发现，为改进公平性而设计的ASR算法改变了SGI在S3M中的编码程度；然而，这主要适用于语音学变异的SGC，而对语义学变异的SGC适用性较低。我们讨论了SGI如何由每一层编码，并识别出负责编码不同SGC的嵌入子维度。最后，我们讨论了我们的发现如何在设计更公平的ASR算法方面发挥作用。
Keyword:
Self-supervised learning
interpretability
fairness
期刊
T
IF:
0
论文数:
31
被引数:
0
机构
引用论文
Comparative Layer-Wise Analysis of Self-Supervised Speech Models.png)
ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
OAAI
ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏
HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units休伯特: 通过隐藏单元的掩蔽预测进行自我监督的语音表示学习OAAI
OAAI分享收藏Enhancing and Adversarial: Improve ASR with Speaker LabelsICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
PREAI
分享收藏分享收藏
查看更多内容