HiFi
会议：2020 NIPS
单位：韩国KAKAO
作者：Jungil Kong， Jaehyeon Kim
文章主页
开源代码
- 使用心得：
- hifigan的收敛速度和效果都比PWG要好一点；
- hifigan预测真实值表现良好，但是和声学模型接在一起之后有电音（杂音），主要是两个系统的mismatch(真实mel-spec和预测的mel-spec之间的差异）
- 2的解决方法：声学模型预测的更精准一些；vocoder用一些predict-mel训练，增强泛化性。
文章目录
- abstract
- HiFi-GAN
- 生成器结构
- MSD: multi-scale discriminator
- MPD：multi-period discriminator
- 目标函数
- experiments
- ablation study
- unseen speaker的泛化
abstract
motivation:在推理时间 & 生成高保真音质方面均作出改进
- 观点：modeling periodic patterns of an audio is crucial
- 结果：22.05k的单人音频生成质量和录制语音接近；优点全CNN网络，前向推理速度非常快
HiFi-GAN
包括一个生成器和两个判别器（multi-scale & multi-period)，
生成器结构
- ConvTranspose：输入mel-spec，通过卷积上采样到和wav采样点同等长度；
- multi-receptive field fusion (MRF) module：res-block conv，作者设置了四种不同长度的生成器，可通过调节参数实现合成效率 & 生成质量的平衡。
MSD: multi-scale discriminator
- 因为MPD是对信号重采样为不同的周期（离散点进行判断），因此加入MSD对连续点语音进行判别；
- MSD包含三个子判别器：对连续的语音采样点进行建模，分别建模原始语音，✖️2 average-pooled audio，✖️4 average-pooled audio。是对平滑后波形的判断。
MPD：multi-period discriminator
-
- motivation：语音由不同的周期信号组成，重建语音数据需要对不同的周期模式进行建模。
- 对不连续的采样点进行建模，设置素数【2，3，5，7，11】为不同的period，按照period将音频采样点reshape为二维信号，然后用卷积单独处理周期重采样后的信号。
- 如上图所示：可以看成大周期sin signal+小周期sin signal，不同的采样间隔建模到不同周期的信号。
目标函数
- Feature Matching Loss：衡量判别器对于真实样本和生成样本预测的结果偏差
experiments
- 对比1:LJSpeech的效果，baseline选择官方开源的WaveNet，WaveGlow，MelGAN
- 对于unseen speaker的泛化效果：VCTK数据集，9个人作为unseen speaker，剩下的用于训练WaveNet，WaveGlow，MelGAN， hifigan
- 为了对比合成质量和合成速度，分别设置三组参数V1，V2，V3，参数量依次越来越小；
ablation study
unseen speaker的泛化
