旁白配音字幕同步edge-tts多语言

同步旁白与字幕(Synced Narration Subtitle)

给视频生成「人声旁白 + 屏幕字幕」且两者严丝合缝,支持中英粤等多语言,自动混入背景音乐。

一、这个 skill 是做什么的

这个 skill 专门解决一个常见痛点:给视频配了旁白,但字幕和声音对不上、飘了、节奏乱了。它的做法是「先量后排」——把文案拆成短句,用微软的 edge-tts 逐句合成语音,再精确测量每一句语音的真实时长,然后按真实时长排字幕时间轴,最后把旁白、字幕、背景音乐一起合成进视频。

因为字幕时间轴是根据语音实际长度算出来的,所以旁白和字幕永远严丝合缝,不会漂移。它还支持中文、粤语、英语等 edge-tts 提供的各种声音,并且能把旁白和背景音乐按比例混合(旁白响、音乐轻)。

它只做后期制作:假设你手里已经有原始视频(比如用 daihuo-video-gen 生成的,或自己拍的),它负责「加配音 + 加字幕 + 混音乐」这一步。

二、什么时候用它

三、前置条件 / 准备

查看可用声音(进阶 / 可选)

想换男声/女声、换语言,可以先列出所有声音。普通用户直接告诉 AI大模型或AI智能体「用中文女声」即可,它会选 zh-CN-XiaoxiaoNeural。

python -m edge_tts --list-voices # 常用声音示例 # 中文女声:zh-CN-XiaoxiaoNeural # 中文男声:zh-CN-YunxiNeural # 粤语女声:zh-HK-HiuGaaiNeural # 英语女声:en-US-AriaNeural

四、具体用法(步骤)

  1. 准备脚本:把文案按「一句一个意思」拆成短行。口播文字和显示字幕可以不同(比如粤语口播 + 简体中文字幕),分别提供。
  2. 逐句合成语音:用 edge-tts 把每句合成成 nar_01.mp3、nar_02.mp3……,并用 ffprobe 记录每段的真实秒数。
  3. 计算同步时间轴:把所有语音时长加起来得自然总时长 T,再定一个目标时长 TARGET(通常等于原视频时长,或短视频取 20 秒)。按比例 scale = TARGET / T 缩放每句,排出字幕的起止时间。
  4. 构建最终旁白音轨:用 ffmpeg 的 atempo 把每句按 1/scale 缩放(快一点或慢一点),拼成一条正好 TARGET 长的旁白。
  5. 合成最终视频:若原视频长度和 TARGET 不同,用 ffmpeg 拉伸/压缩视频;烧录字幕;把旁白(音量约 0.95)和背景音乐(音量约 0.18–0.25)混合,输出 H.264 + AAC 的 MP4。

五、可直接照用的示例

你直接对 AI大模型或AI智能体 说:「这是产品演示视频 demo.mp4,时长大概 30 秒。帮我写一段中文女声旁白讲解功能,字幕要和声音完全对上,底下垫点轻音乐。」

AI大模型或AI智能体 会:把讲解词拆成短句,用中文女声逐句合成并测时长,按比例排好字幕时间轴,再把旁白、字幕、背景音乐合成进 30 秒的视频里给你。

你直接对 AI大模型或AI智能体 说:「这个 15 秒的短视频,我要粤语口播、简体中文字幕,用粤语女声,不要背景音乐。」

AI大模型或AI智能体 会:选用粤语女声 zh-HK-HiuGaaiNeural 合成语音,字幕显示简体中文,烧录同步字幕、混入旁白,背景音乐留空,输出成品。

六、常见注意 / 避坑

七、相关 skill / 延伸

← 返回 SKILL 库