GPT-SoVITS 3 秒参考音色跑调 比原声低 2.5 个半音怎么修

用 GPT-SoVITS 克隆客服音色,参考音频 3 秒,合成出来的男声比原声低 2.5 个半音。短句还行,超过 20 字就往下飘,尾音尤其明显。

第一反应是随机性,把 temperature 从 1.0 降到 0.6,音高还是低,只是语气变平。又试了 top_k 从 15 调到 5,没变化。问题不在采样,在音高提取这一层。

把参考音频放进频谱图看,3 秒里前 0.8 秒是空调底噪,人声只占后面两秒。低信噪比段落把 f0 估错,整段音高被拉低。换成 harvest 重新提 f0,只低 1.2 个半音,好一些但没到零。参考文本里还有一处断句和音频对不上,对齐一错,韵律跟着歪。

再换参考音频,用 6 秒纯净人声,采样率统一到 32k,用 soxr 重采样,别让库默认走线性插值。参考文本改成逐字对齐,标点只留逗号,speed_factor 保持 1.0。第一版用的是会议录音里截的片段,底噪和混响都在,换成干净人声后问题直接消失。

payload = {
    "ref_audio_path": "/data/ref_6s.wav",
    "prompt_text": "您好,这里是售后客服。",
    "prompt_language": "zh",
    "text": "您的退款已经提交。",
    "text_language": "zh",
    "temperature": 0.8,
    "speed_factor": 1.0}

改完音高差 0.3 个半音,肉耳基本听不出,长句尾音也不再往下掉。上线前跑了 50 条合成,MOS 从 3.4 到 4.0。

长句飘还有一个原因,文本前端把数字读成逐位,参考音频里读的是完整数字,韵律对不上。把数字改写成中文读法再合成,句尾下坠少了七成。

批量合成时并发开到 8,显卡占用 90%,单条 1.2 秒。并发再高会排队,延迟反而涨,最后定在 6。音色换回女声又试了一遍,音高差 0.2 个半音,说明这套参数对不同音色都稳。

参考音频的质量比长度重要,6 秒干净人声好过 20 秒带底噪的录音。每次换音色先看频谱,底噪明显的段落直接裁掉。现在换音色先拿 10 条短句试听,音高不对就直接换参考片段,不去动采样参数。这一步最省时间。

您可以还会对下面的文章感兴趣: