阅读数:60 评论数:0

一、概述

对原始音频进行建模是一个具有挑战的问题，因为数据具有较高的时间采样率，因此代替直接对原始时间音频进行建模，大多数据方法通过对可以从原始时有效地计算的较低采样率表示进行建模来简化该问题。对齐的语言特征和mel频谱图是两种常用的中间表示形式。

因此，音频建模通常分为两个阶段：（1）对给定文本作为输入的中间表示进行建模（2）将中间表示转换回音频。

二、melGan

melgan是一种非自回归前馈卷积架构，是第一个由GAN去实现原始音频的生成，在没有额外的蒸馏和感知损失的引入下仍能产生高质量的语音合成模型。

melGaN的速度明显其他mel频谱转换到音频的方法。

melGan是基于GAN实现的，整体结构不难理就是由生成器和判别器组成。