一、这个 skill 是做什么的
这个 skill 专门调用字节跳动火山引擎「方舟」平台上的 Seedance 2.0 系列模型来生成视频。它是 ai-video-generation 里 Seedance 能力的「专门版」,直接走方舟 API,适合你已经在使用方舟、想稳定产出高质量视频的场景。
它支持很丰富的形式:文生视频(一句话出片)、图生视频(让图片动起来)、视频参考(参考某段视频的运镜/构图)、音频参考(参考一段背景音乐),并且可以选择同时生成配音/音效。视频比例可在 16:9、9:16、1:1 之间选,时长 5–11 秒。
它本质上是「提交任务 → 轮询等待 → 取结果」的异步流程,底层靠一个 Python 脚本和方舟 API 通信。普通用户只需说清需求,AI大模型或AI智能体 会替你跑完脚本并交付视频。
二、什么时候用它
- 「用方舟帮我做个 16:9 的产品宣传视频」——你已有方舟账号、想走 Seedance 模型。
- 「让这张图(附网址)动起来,9:16 竖屏,加背景音乐」——图生视频 + 音频参考。
- 「帮我做一段 10 秒、带配音的短视频」——开启 generate_audio 同步生成声音。
- 「参考这段视频的运镜风格,生成类似画面」——视频参考(reference_video)。
- 原话信号:用 Seedance / 方舟 生成视频、做视频、AI 生视频、图生视频。
三、前置条件 / 准备
1. 方舟平台 API Key(必填)
需要火山引擎方舟(Volcano Engine Ark)的 API Key。申请路径:登录火山引擎控制台 → 方舟平台 → 创建 API Key。拿到后,把它设为环境变量 ARK_API_KEY:
# Windows(PowerShell)
$env:ARK_API_KEY="你的方舟API Key"
# macOS / Linux
export ARK_API_KEY="你的方舟API Key"
2. 开通视频生成模型
在方舟控制台单独开通 Seedance 视频生成模型。只开通聊天模型会返回 404 / ModelNotOpen。API 地址默认 https://ark.cn-beijing.volces.com(已内置,一般不用改)。
本地脚本依赖:本 skill 通过 scripts/generate_video.py 等 Python 脚本运行,需要本机有 Python 3。AI大模型或AI智能体 在底层执行;你通常不必手动跑,但确保环境能运行 Python。
四、具体用法(步骤)
- 确认 Key 已设置、模型已开通(见第三节)。
- 说清视频需求。 包括:主体和动作、镜头语言(推拉摇移/视角)、时长、比例、是否要声音、是否提供参考图/视频/音频网址。
- (可选)选择模型:
doubao-seedance-2-0-260128:标准版,质量更高,适合商业精细画面。
doubao-seedance-2-0-fast-260128:快速版,出片更快,适合预览/批量。
- 交给 AI大模型或AI智能体 提交任务。 它会调用脚本提交生成,拿到一个任务 ID(形如
cgt-20260410...-xxxxx)。
- 等待并取结果。 视频是异步生成的(状态 pending → running → completed),完成后 AI大模型或AI智能体 会下载视频并交付给你,同时给出封面图地址。
五、可直接照用的示例
你直接对 AI大模型或AI智能体 说:用方舟 Seedance 给我做一段 10 秒、16:9、带配音的「城市夜景延时」视频。
AI大模型或AI智能体 会:用标准版模型提交文生视频任务,开启 generate_audio,轮询到完成后把视频和封面图交付给你。
你直接对 AI大模型或AI智能体 说:让这张产品图(网址)动起来,9:16 竖屏,配上这段背景音乐(网址),快速版就行。
AI大模型或AI智能体 会:用 fast 模型提交「图生视频 + 音频参考」任务,生成竖屏带 BGM 的短视频并交付。
进阶 / 可选(命令示意):习惯手敲时,脚本直接调用的样子(AI大模型或AI智能体 平时替你做这步)。--image-url 等为可选项:
python3 ~/.ai-agent/skills/seedance-video-gen/scripts/generate_video.py \
--model doubao-seedance-2-0-fast-260128 \
--prompt "你的视频描述" \
--ratio 16:9 \
--duration 10 \
--image-url "https://..." \
--generate-audio \
--no-watermark
提交后拿到任务 ID,再用 query_task.py <任务ID> 查询状态,completed 后即可取得视频地址。
六、常见注意 / 避坑
- 必须单独开通视频模型。 方舟只开了聊天模型会 404/ModelNotOpen;确认控制台已开通 Seedance 视频生成。
- Key 是必填项。 没设
ARK_API_KEY 无法调用;Key 来自火山引擎方舟控制台,不是通用 inference.sh 账号。
- 素材要公网网址。 参考图/视频/音频都必须是网上可直接访问的 URL;本地文件需先上传或用 Base64 编码。
- 异步需等待。 提交后状态是 pending/running,别当卡住;等 completed 再取结果。
- 时长与比例范围。 时长 5–11 秒;比例仅支持 16:9 / 9:16 / 1:1,超出会报错。
七、相关 skill / 延伸
- ai-video-generation:通用视频调度台,含 Seedance 等多种模型,可互为补充。
- ai-video-cn-text:需要画面出现正确中文时,可把本 skill 当作「图生视频」引擎(但中文仍需先出准文字参考图)。
- ai-image-generation:做图生视频前,先用它出参考图。
- video-editor:对生成的视频做裁剪/合并/加字幕等后期。