单通道实时语音分离的TasNet结构总结

单通道实时语音分离的TasNet结构总结

核心工作：提出使用时域音频分离网络，即编码器-解码器框架直接在时域对信号建模，并在非负编码器输出上执行声源分离。
STFT缺点：
1. 提出傅里叶分解并不一定是最优的语音分离信号变换
2. STFT将信号转换为复数域，但不能很好的处理相位谱
3. 频谱有效分率需要高频率高分辨率，否则会产生时延
TasNet：

1. N个非负加权基础信号表示混合语音波形；
2. 基础信号的权重来自于编码器输出，基础信号即解码器的滤波器；
3. 估计权重（非负）可以表示为每个声源对混合权重贡献的掩模，类似于STFT中的T-F掩模
4. 解码器学习后重建声源波形
实验结论：

1. 与单向LSTM构成因果系统，优于使用T-F的系统；与BLSTM构成非因果系统，同样效果更好；

2. 我们系统中每个段的平均处理速度小于 0.23 ms，导致系统总延迟为 5.23 ms。 相比之下，基于 STFT 的系统至少需要 32 毫秒的时间间隔才能启动处理，此外还需要处理时间STFT、分离和反向STFT的计算；

4. 观察到从低频率到高频的连续转换，表明系统已经学会对波形进行光谱分解；相比之下，与梅尔倒谱、STFT相比，TasNet 中的基础信号在较低频率下具有更高的分辨率。如图，60% 的基础信号的中心频率低于 1 kHz，这可能说明低频分辨率对于精确语音分离的重要性