OpenMontage 使用方法完全指南

电子工匠

76人浏览 · 2026-07-15 14:05:11

电子工匠 · 2026-07-15 14:05:11 发布

一、OpenMontage项目是什么？

1.1 一句话理解

OpenMontage 把你的 AI 编程助手（Claude Code、Cursor、Copilot、Windsurf、Codex）变成一个完整的视频制作工作室——你只需用自然语言描述想要的视频，Agent 就会自动完成：调研、写剧本、生成素材、剪辑、合成、渲染。

1.2 与"AI 生视频"工具的本质区别

市面上大多数 AI 视频工具（Runway、Sora、Pika）只做"图生视频"或"文生视频"，输出的是一段孤立的短镜头。OpenMontage 的差异在于：它是一个完整的生产流水线（Pipeline），不仅能生成 AI 视频，更能从 Archive.org、NASA、Wikimedia、Pexels、Unsplash 等免费素材库中检索真实素材，构建 CLIP 可搜索的素材语料库，然后按时间轴剪辑、加字幕、加配乐、加转场，输出一部真正意义上的成品。

1.3 演示作品与成本参考

"THE LAST BANANA"：60 秒 Pixar 风格动画短片，Kling v3 视频 + Google TTS 配音 + 免版权配乐 + 字幕，总成本 $1.33
"The Library at Alexandria"：70 秒历史片，5 个手工场景 + OpenAI 'ash' 配音 + Pixabay 免费配乐，总成本 $0.02
"VOID"：产品广告，仅用一个 OpenAI API Key，4 张 AI 图 + TTS + WhisperX 字幕，总成本 $0.69
"Afternoon in Candyland"：Ghibli 风格动画，12 张 FLUX 图 + 相机运镜 + 粒子叠加，总成本 $0.15
"SIGNAL FROM TOMORROW"：科幻电影级预告片，Veo 生成动态镜头 + 原声带 + Remotion 合成

二、系统要求

在开始之前，需要准备以下环境：

组件	版本要求	说明
Python	3.10 及以上	核心运行环境
Node.js	18 及以上	用于 Remotion 视频合成
FFmpeg	最新稳定版	音视频编解码、字幕烧录、混音、调色
AI 编程助手	任选其一	Claude Code / Cursor / Copilot / Windsurf / Codex
操作系统	macOS / Linux / Windows	全平台支持

FFmpeg 安装：

macOS：brew install ffmpeg
Linux：sudo apt install ffmpeg
Windows：从 ffmpeg.org 下载并加入 PATH

三、安装步骤

3.1 推荐方式（一键 Makefile）

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

make setup 会自动完成：创建 Python 虚拟环境、安装依赖、安装 Remotion 依赖、安装 Piper TTS、复制 .env.example 为 .env。

3.2 手动安装（macOS / Linux）

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
cd remotion-composer && npm install && cd ..
python -m pip install piper-tts
cp .env.example .env

3.3 手动安装（Windows PowerShell）

py -3 -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install -r requirements.txt
cd remotion-composer
npm install
cd ..
python -m pip install piper-tts
Copy-Item .env.example .env

Windows 常见问题：如果 npm install 报 ERR_INVALID_ARG_TYPE，改用 npx --yes npm install 即可。

3.4 GPU 本地视频生成（可选）

如果你想完全离线跑视频生成模型，需要额外安装 GPU 支持：

make install-gpu

然后在 .env 中添加：

VIDEO_GEN_LOCAL_ENABLED=true
VIDEO_GEN_LOCAL_MODEL=wan2.1-1.3b   # 可选：wan2.1-14b / hunyuan-1.5 / ltx2-local / cogvideo-5b

四、三种使用路径

OpenMontage 的核心哲学是"按需付费"——你可以从零成本开始，也可以逐步接入付费 API 解锁高质量素材。

4.1 路径 A：零 API Key（完全免费）

不填任何 Key，你依然可以生产以下类型的视频：

能力	使用的免费工具	说明
配音	Piper TTS	本地离线 TTS，无需联网
视频素材	Archive.org + NASA + Wikimedia	免费档案影像和教育素材
图片素材	Pexels + Unsplash + Pixabay	三大免费图库（API Key 免费申请）
React 合成	Remotion	Spring 动画、文本卡、图表、字幕、TalkingHead
HTML/GSAP 合成	HyperFrames	动态排版、产品宣传、SVG 角色动画
后期处理	FFmpeg	编码、字幕烧录、混音、调色
字幕生成	内置	词级时间戳自动字幕

三条免费产线：

图片视频路线：Piper 配音 + 图片素材 + Remotion 动画合成
本地角色动画：SVG 骨架 + 动作库 + GSAP 时间轴 + HyperFrames 渲染
真实影像纪录片：从 Archive.org / NASA / Wikimedia / Pexels / Unsplash 构建 CLIP 可搜索素材库，做纪录片式蒙太奇

4.2 路径 B：轻量付费（$0.15 – $1.50/视频）

配置一到两个 API Key 就能显著提升质量，比如：

FAL_KEY：一键接入 FLUX（图像）+ Google Veo / Kling / MiniMax（视频）+ Recraft
OPENAI_API_KEY：GPT Image 2 图像 + OpenAI 高质量 TTS
SUNO_API_KEY：定制原声音乐（任意风格的完整歌曲）
ELEVENLABS_API_KEY：顶级 TTS + AI 音乐 + 音效

4.3 路径 C：全套配置（$1 – $3/视频）

接入所有可选服务，达到电影级质量：

# 图像 + 视频统一网关
FAL_KEY=your-key

# Kling 官方直连
KLING_API_KEY=your-key
KLING_API_BASE_URL=

# 免费素材（Key 免费申请）
PEXELS_API_KEY=your-key
PIXABAY_API_KEY=your-key
UNSPLASH_ACCESS_KEY=your-key

# 音乐
SUNO_API_KEY=your-key

# 配音与图像
ELEVENLABS_API_KEY=your-key
OPENAI_API_KEY=your-key
XAI_API_KEY=your-key
GOOGLE_API_KEY=your-key

# 更多视频供应商
HEYGEN_API_KEY=your-key
RUNWAY_API_KEY=your-key

关键设计：所有 Key 都是可选的。Agent 会根据你已配置的 Key 组合，自动在 52 个工具中挑选最优路径。

五、核心工作流

5.1 基本使用方式

安装完成后，打开你的 AI 编程助手（如 Claude Code），在项目根目录下直接对话即可。OpenMontage 已经在仓库中为主流 Agent 预置了指令文件：

AGENTS.md、AGENT_GUIDE.md：通用 Agent 指南
CLAUDE.md：Claude Code 专属
CODEX.md：OpenAI Codex 专属
COPILOT.md：GitHub Copilot 专属
CURSOR.md：Cursor IDE 专属
.windsurfrules：Windsurf 专属
PROJECT_CONTEXT.md：项目上下文

这些文件让 AI 助手一进入项目就知道自己该干什么、怎么调用工具、遵守哪些流程规则。

5.2 试试这些 Prompt

零 Key 就能跑（完全免费）：

"做一个 45 秒动画短片，讲解天空为什么是蓝色的"
"创作一个 60 秒的互联网历史视频，带配音和字幕"
"生成一个关于世界咖啡消费的数据可视化解说视频"

免费真实素材纪录片路线：

"用真实素材做一个 90 秒纪录片式蒙太奇，主题是凌晨 4 点的城市感受，不要配音，挽歌基调"
"创作一个 60 秒的 Adam Curtis 风格档案剪辑，主题是 1950 年代的消费乐观主义"

引用一个已有视频作为参考：

"这是我喜欢的一个 YouTube 短视频，帮我做一个类似的，但主题改为面向高中生讲 CRISPR"
"分析这个 Reel，给我三个原创变体，用于我的产品发布"
"我喜欢这个视频的节奏和开头钩子，保持这种能量，转为讲黑洞的 45 秒解说"

接入图像/视频供应商（$0.15 – $1.50）：

"创作一个 30 秒 Ghibli 风格动画：云端漂浮的魔法图书馆"
"为一款虚构的智能水杯 AquaPulse 制作一个产品发布预告片"

完整配置（$1 – $3）：

"创作一个电影级 30 秒预告片：人类收到来自 1000 年后的警告"
"制作一个 90 秒动画解说：面向初中生讲量子计算"

一键体验：直接跑 make demo，无需任何 Key 就能渲染出免费的演示视频。完整测试过的 Prompt 及成本预估见仓库中的 PROMPT_GALLERY.md。

5.3 从参考视频开始

这是 OpenMontage 一个很有特色的功能。你可以直接丢给它一段 YouTube、Short、Reel、TikTok 或本地视频作为参考，Agent 会：

分析该视频的转录文本、节奏、场景、关键帧、风格
输出 2–3 个差异化创作概念
给出诚实的工具路径（用哪些 Provider）
提供成本预估
先生成一个样例给你审阅

返回结果会明确告诉你：保留了什么（节奏、开头钩子、结构、基调）、改变了什么（主题、视觉处理）、成本多少、用你现有工具能达到什么效果。

5.4 Backlot 实时故事板

Backlot 是 OpenMontage 的实时监控与审批面板，视频生产过程中每一步都会在其中直观展示：

# 打开全局项目库（本地所有项目）
python -m backlot open

# 打开单个项目的实时看板
python -m backlot open <project-id>

# 观看一次模拟运行（学习工具的好方法）
python scripts/backlot_simulate_run.py

看板功能包括：流水线阶段亮起、剧本以剧本页形式展示、场景卡在素材生成时动画呈现、每个 Provider 的选择决策和花费实时可见。

关键设计：素材生成会暂停在场景级 contact sheet（含镜头列表、Prompt、单条成本、质量评分），等你审批后才继续渲染——这是一个真正意义上的创作审批门。

完成的运行可以通过 ▶ REPLAY RUN 按钮回放，从头到尾可拖动进度条。

5.5 12 条生产流水线

OpenMontage 内置 12 条针对不同视频类型的流水线（Pipeline），Agent 会根据你的需求自动选择：

Pipeline	产出	适用场景
Animated Explainer	AI 生成的解说视频，含调研/配音/画面/音乐	教育内容、教程
Animation	动态排版、动画序列	社交媒体、产品演示
Avatar Spokesperson	虚拟主播演讲视频	企业沟通、培训
Documentary Montage	真实素材纪录片剪辑	情感表达、历史题材
Cinematic Trailer	电影级预告片	概念展示、发布营销
...（更多 pipeline 见仓库 `pipeline_defs/`）

5.6 Agent 化操作的最佳实践

如果你想让 Agent（OpenClaw 风格）跑得更稳，官方给了以下建议：

先读 AGENT_GUIDE.md，再读 PROJECT_CONTEXT.md——这是 Agent 的操作手册
不要即兴发挥流水线工作流——一切都是 Pipeline 驱动，绕过反而会出问题
先检查实际可用的能力包（哪些 Key 已配置、支持什么产出）：

python -c "from tools.tool_registry import registry; import json; registry.discover(); print(json.dumps(registry.support_envelope(), indent=2))"

python -c "from tools.tool_registry import registry; import json; registry.discover(); print(json.dumps(registry.provider_menu(), indent=2))"

把每一个视频请求当作"流水线选择"问题来处理，而不是"从零开始编程"。

六、系统特性一览

特性	说明
12 条流水线	覆盖解说、纪录片、动画、预告片、虚拟主播等主流视频类型
52 个工具	跨越多个供应商，Agent 自动挑选
500+ Agent 技能	生产自动化
多供应商评分	从 7 个维度打分，自动选择最佳供应商
自审核系统	ffprobe 校验、抽帧检查、音量分析、字幕检查、交付承诺验证
可审计决策日志	每一次 Provider 选择都有记录
创作审批门	关键节点暂停等待用户确认
实时联网调研	视频内容自动做事实核查
词级字幕	WhisperX 生成
免版权配乐	自动匹配
兼容 5 大 Agent	Claude Code / Cursor / Copilot / Windsurf / Codex

七、目录结构速览

OpenMontage/
├── .agents/skills/          # Agent 技能定义
├── .claude/                 # Claude 专用配置
├── .codex/prompts/          # Codex 提示词模板
├── .cursor/                 # Cursor IDE 配置
├── assets/                  # 项目资源
├── backlot/                 # 实时故事板系统
├── docs/                    # 文档（含 PROVIDERS.md）
├── ink-theater/             # Ink Theater 子系统
├── lib/                     # 核心库
├── pipeline_defs/           # 流水线定义
├── remotion-composer/       # Remotion React 视频合成
├── schemas/                 # 数据 Schema
├── scripts/                 # 工具脚本（含 backlot_simulate_run.py）
├── skills/                  # Agent 技能库（含 pipelines 和 core）
├── styles/                  # 样式定义
├── tests/                   # 测试
├── tools/                   # 工具实现（含 tool_registry）
├── config.yaml              # 主配置
├── .env.example             # 环境变量模板
├── requirements.txt         # Python 依赖
├── requirements-gpu.txt     # GPU 依赖
├── Makefile                 # 构建自动化
├── AGENT_GUIDE.md           # Agent 主指南
├── PROJECT_CONTEXT.md       # 项目上下文
├── CLAUDE.md / CURSOR.md / CODEX.md / COPILOT.md  # 各 Agent 专用指令
└── PROMPT_GALLERY.md        # 测试过的 Prompt 集合