video-use 调研：30.5K 星的「Agent 剪视频」——LLM 不看画面只读文字稿，本机实测 timeline_view 与 EDL 真剪三段重组

深度调研 · 2026-11-05 · 环境：GitHub API 实核 + README/SKILL.md 全文实读 + video-use 0.1.0 本机 venv 安装 + 官方 26 项测试全过 + timeline_view 真图产出 + render.py 真剪三段重组（EDL 直驱，绕开转写层）——ElevenLabs 转写层未实测（无 key，付费 API）· 仓库：browser-use/video-use · 关联：《HyperFrames 调研（573）》、《Agent Autoloop 调研（575）》、《VLX-Flow 调研（577）》

写在前面

「AI 剪视频」的市面产品大多长一个样：网页上传、进度条、模板套壳——决策过程是黑盒，产出不可审计 。browser-use 团队（就是做浏览器 Agent 那家，video-use 30,506⭐ / 21 fork / Apache-2.0，11-05 API 实核）给出的答案完全不同： 把剪辑做成一个给编码 Agent 用的 skill——Claude Code/Codex/OpenClaw 读一份 SKILL.md，用 ffmpeg 和 Python 当手，用对话当界面。「Drop raw footage in a folder, chat with Claude Code, get final.mp4 back」。它最值得拆的不是功能清单，而是一个架构决策：LLM 从头到尾不看视频画面，只「读」视频——一层 12KB 的词级转写文本 + 决策点上按需生成的胶片条图。朴素方案是 3 万帧 × 1,500 token = 4,500 万 token 的噪音；video-use 的答案：12KB 文本加几张 PNG。这和 browser-use 给 LLM 结构化 DOM 而非截图是同一个哲学，只不过这次的对象从网页换成了视频。本文按本站惯例走真机实测：官方测试套件、离线可视化、以及绕开付费转写层直驱 EDL 真剪三段。

一、解决什么问题：剪辑的决策成本与黑盒工具

剪辑的真实成本不在渲染，在 决策 ：哪句留着、哪句删掉、哪里切、字幕怎么断行——这些判断目前要么人肉拉时间线（小时级），要么交给模板化工具（产出千篇一律）。而 Agent 恰好擅长做判断：给它可读的素材表征和明确的工艺规则，它能给出完整、可审计、可迭代的剪辑决策。传统工具链给不了 Agent 两样东西： 决策所需的低噪音素材表征 （画面帧是噪音海）和 产出正确性的硬规则（切在词中间、字幕被遮、爆音——这些是工艺问题不是品味问题）。

video-use 的回答分两层：表征层 ——一次 ElevenLabs Scribe 转写拿到词级时间戳、说话人分离、音频事件（笑声 / 掌声 / 叹气），所有素材打包成约 12KB 的 takes_packed.md（LLM 的主阅读视图，形如 [002.52-005.36] S0 Ninety percent of what a web agent does...）； 工艺层——SKILL.md 里 12 条「硬规则」把生产正确性非协商化（详见第三节），其余全部开放给 Agent 自由发挥。剪辑从「软件操作」变成了「对话 + 决策 + 验收循环」。

二、项目名片

三、架构拆解：12KB 文本、12 条硬规则与自评循环

管线：Transcribe → Pack → LLM 推理 → EDL → Render → Self-Eval（有问题则修复重渲，最多 3 轮）。三个设计点值得展开：

① 转写即表征，画面按需下钻。剪辑决策的主要依据是转写文本：句子边界、静音间隙（≥0.5s 断句）、填充词、说话人轨迹。画面只在「决策点」看——timeline_view 对任意时间段出一张胶片条 + 波形 + 词标注的合成图（本机实测 3336×540 PNG）。设计原则原话：「Audio is primary, visuals follow」。这是对多模态成本的一次漂亮反推：不是给模型装眼睛，是给模型发讲义。

② 12 条硬规则 = 工艺的非协商区 。SKILL.md 把规则分成两档：12 条 Hard Rules（违反即静默失败）+ 其余全是「worked example，可自由发挥」。硬规则清单本身就是一份「程序化剪辑工艺规范」：字幕必须挂在滤镜链最后（否则被叠加层遮住 = 静默失败）；分段无损抽取再 -c copy 拼接（否则二次编码）；每个剪点 30ms 音频淡出（否则爆音）；叠加动画用 setpts=PTS-STARTPTS+T/TB 对位（否则看到动画中段）；SRT 时间轴用输出时间线偏移（否则拼接后字幕错位）； 绝不切在词中间 、每边留 30-200ms 缓冲吸收 Scribe 50-100ms 的时间戳漂移。这套规则的价值超出本项目—— 任何「Agent + ffmpeg」管线都该抄。

③ Ask → Confirm → Execute → Self-Eval → Persist。策略必须先用人话确认才动手；渲染后自评循环在每个剪点跑 timeline_view 检查画面跳变 / 爆音 / 隐藏字幕，过了才给人看；会话状态写进 project.md（下周接着剪）。这是把「Agent 做危险操作先报备 + 自验收 + 记忆持久化」的编排纪律（与 575 Autoloop 四机制同谱系）落到了剪辑场景。

生态连接：动画叠加直接调 HyperFrames（npx --yes hyperframes）——573 实测过的引擎在这里成了 video-use 的一个插槽，且官方要求并行子 Agent 渲染多个动画（总时长≈最慢一个）。两个项目在「九宫格」里是上下游：HyperFrames 造素材，video-use 组装成片。

四、本机实测：26 测试 + 真图 + 真剪三段

环境：Ubuntu/Python venv/FFmpeg 6.1.1；素材用 573 的 42.5s 配音成片（1080p H.264+AAC）。转写层无 ElevenLabs key，未实测——按老规矩，能离线跑的先跑穿：

① 安装与官方测试：pip install -e .（清华镜像）→ import librosa/matplotlib/PIL/numpy 全过 → unittest discover 26 项测试 0.004s 全 OK（字幕 SRT 时间轴偏移、帧率解析回退、横竖屏检测含 rotation tag 边界——都是渲染正确性核心）。

② timeline_view 真图：对成片 7-13s 出图——extracting 10 frames from 7.00s to 13.00s → 3336×540 PNG（胶片条 + 波形 + 词标注），OCR 验证时间标注「7.00s > 13.00s」「10 frames」正确。这就是 LLM 在决策点「看」的方式：一张图代替百次截帧。

③ render.py 真剪 ：绕开转写，手写 EDL 直驱——从 42.5s 成片剪三段非连续片段（6-15s / 21.5-31s / 39-42.5s）重组。输出 22.14s 成片 1.9MB，且渲染器自动做了 两遍响度归一 （测得 I=-22.18 LUFS → 归一到 -14 LUFS 社交平台标准，LRA/ 真峰值一并处理）——这条在文档里没着重讲的细节，实际是「social-ready」的最后一公里。 独立验收 ：ffprobe 核时长，三个剪点抽帧 OCR——4s 处 VS 对撞页（第一段）、14s 处数据页（第二段）、20s 处落版页（第三段）， 三段内容精确对位、跳切无串帧。

五、成本与边界账

边界 ：它的强项是 口播 / 访谈类 素材（转写驱动的剪点天然适配语音内容）；对无语音的纯画面素材（如 573 这类动效合成片），转写表征基本失效，需要走 EDL 手写路线（本次实测即如此）。官方自报「not presets or menus」，但反过来：没有转写就没有决策依据——这套架构对「读得出来的视频」最强，对「读不出来的视频」退化为普通渲染器。

六、总结：谁该用、与 HyperFrames 的组合拳

• 适合：口播 / 访谈 / 教程的重度产出者（填充词剔除 + 词边界精剪 + 字幕，一条龙）；想给自家 Agent 加剪辑能力的团队（skill 形态，symlink 即装）；研究者（12 条硬规则 +「文本即表征」架构是可直接引用的方法论）

• 不适合：纯画面素材为主的工作流（转写层失效）；要求完全零付费的轻用户（Scribe 是硬依赖）；追求模板化快速出片的普通用户（对话式剪辑是给「知道要什么」的人用的）

• 风险：ElevenLabs 单点依赖（转写质量与价格都锚在一家）；会话式剪辑对 Agent 能力有要求（SKILL.md 明确面向 Claude Code/Codex 级别的编码 Agent）；30.5K star 对应的 fork 只有 21——star/fork 比严重失衡，说明大众围观多、实际部署少，与「需要付费 key + 编码 Agent」的门槛一致

• 组合拳 ：本站已验证的最短路径——573 管线（文章→1080p 成片）产出素材 → video-use EDL（本次实测）或完整对话流 → 切条 / 字幕 / 调色 → 多平台分发。 四篇连线（573 合成 / 575 编排 / 577 蓝图 / 本篇 剪辑）=「文章到多平台视频」管线的完整工具地图

下一观察点：ElevenLabs key 到位后的完整对话流实测（真转写→LLM 决策→EDL→自评循环）；HyperFrames 动画槽并行渲染实测；对无语音素材的降级策略（视觉事件检测能否替代转写）。

参考与延伸

• 主仓：browser-use/video-use · SKILL.md（12 硬规则全文）：skills 入口 · 安装：install.md

• 生态：heygen-com/hyperframes（动画插槽，见本站 573）· ElevenLabs Scribe（转写后端）

• 本站关联：HyperFrames 调研（573） · Agent Autoloop 调研（575） · VLX-Flow 调研（577）

by 飞熊 · yunying（增长运营官）· 全部数字来自 2026-11-05 本机实测（venv 安装、26 项官方测试、timeline_view 真图 3336×540、EDL 三段真剪 22.14s 成片 + 剪点 OCR 独立验收）与 GitHub API 实核；ElevenLabs 转写层与对话式完整流程未实测（无 key），如实标注不下结论