Sora之后,分镜脚本要先变成工程文件
OpenAI 对 Sora 的官方介绍很直接:这是一个文本转视频模型,可以生成长达一分钟的视频,并在生成过程中保持视觉质量、遵循用户提示。官网给出的示例里,有“35 毫米胶片拍摄”的太空人预告片,也有一只毛茸茸的小怪兽盯着融化红蜡烛的 3D 写实动画场景。
这些例子说明了一件事:视频生成模型已经能吃下相当复杂的视觉描述。但从“看起来惊艳”到“可以交付”,中间还隔着一套生产流程。
《麻省理工科技评论》中文版在《Sora上线百余天,AI视频生成赛道卷成什么样了?》中提到,OpenAI 在 2024 年 12 月正式向付费用户推出 Sora 服务,一百多天后,Sora 最初带来的震撼和“霸主”预期,正在被技术迭代、竞争者和行业格局变化稀释。文章还提到,AI 视频生成对基本物理规律的遵循度已有提高,比如物体互动、重力影响、运动合理性更可信,但复杂场景仍然会暴露问题。
这正是分镜自动化要处理的地方。模型能生成视频,不代表它天然理解一条广告片、一支短剧或一段游戏预告里的镜头关系。真正进入生产时,团队要关心的不是某次生成有多漂亮,而是同一角色能不能连续出现,光线方向是否一致,动作是否符合场景,镜头之间能不能剪在一起。
提示词不够,分镜要变成结构化输入
传统分镜脚本服务的是人。导演、摄影、美术、剪辑可以从文字、草图和备注里读出意图,再用经验补足细节。
AI 视频生成不一样。给模型一句“一个悲伤的男人走在雨中”,它可能理解成无数种画面:正面特写、背影远景、冷色街道、暖色橱窗、暴雨、细雨、慢动作、手持镜头。对创意探索来说,这是空间;对工业交付来说,这是风险。
所以,分镜脚本不能只写情绪和氛围,还要拆成更稳定的字段。至少包括几类信息:
- 镜头信息:景别、视角、焦段或镜头质感。例如 OpenAI 示例里明确写到“35 毫米胶片拍摄”,这类描述会直接影响画面语言。
- 角色信息:角色 ID、外貌、服装、姿态、表情,避免同一人物在不同镜头里变脸、换衣或年龄漂移。
- 场景信息:地点、时间、天气、主要道具,以及它们在镜头中的位置关系。
- 运动信息:人物怎么走,镜头怎么动,物体之间有没有接触、碰撞、遮挡。
- 光影信息:主光方向、明暗关系、色调和阴影要求。
- 物理约束:重力、流体、烟雾、雨雪、反射、接触面等容易出错的部分。
这不是把创作降级成表格,而是把“导演脑子里的默认规则”提前写出来。模型越强,越需要清楚的边界;否则一次生成看似自由,后期修正会变得不可控。
LLM 更像导演助理,不是自动导演
在 AIGC 工作流里,LLM 可以承担分镜拆解的前置工作:读取剧本,识别场景,列出角色出场顺序,把一句剧情拆成多个镜头,再按模板生成可用于视频模型的提示。
比如一段剧情只写“她推门进入房间,发现桌上的蜡烛快要熄灭”。LLM 可以把它拆成:门把手特写、人物进入中景、房间环境镜头、蜡烛近景、人物反应特写。每个镜头再补上景别、光线、人物动作和物理约束。
但这里最容易被夸大。LLM 不会天然成为导演。它能做的是整理、补全、对齐格式,把分镜从“口头创意”变成“可检查的生产文件”。镜头是否有效,节奏是否成立,情绪是否准确,仍然要由导演、编剧、分镜师判断。
这也是为什么分镜自动化不该只追求“一键生成”。更现实的目标是:
- 先让 LLM 生成第一版结构化分镜;
- 导演和分镜师修改镜头意图;
- 再把修改后的分镜转成视频模型提示;
- 生成后按角色一致性、光影、动作、物理规则做质检;
- 把失败原因回写到模板里。
这套流程看起来繁琐,但比反复用一句模糊提示词碰运气更接近生产。
物理问题不能只交给后期
《麻省理工科技评论》中文版提到,AI 视频生成在物体互动、重力影响、运动合理性上已有改善。这个判断很重要,因为它说明问题正在变小,但还没有消失。
视频一旦进入广告、影视、游戏预告等场景,物理错误会被放大。雨滴、火焰、影子、衣料、手部接触、镜面反射,都是观众容易察觉的地方。画面越精细,错误越明显。
因此,分镜自动化里要把“物理约束”单独列出来,而不是混在风格描述里。比如:
- 人物手掌是否接触桌面;
- 蜡烛火焰是否照亮附近物体;
- 雨水是否落在衣服和地面上;
- 角色转身时服装是否保持一致;
- 镜头运动时阴影方向是否改变。
这些内容不一定都能被模型完美执行,但如果前期没有写清楚,后期几乎无从判断是模型失败、提示失败,还是分镜本身没定义。
成本账在生成之前就开始了
证券时报网转载《经济参考报》的文章《Sora“升维” AI视频引发算力需求激增》,关注的是 Sora 等视频生成模型带来的算力需求。对具体团队来说,算力不是抽象问题,而是每一次生成、重试和返工。
分镜脚本自动化的价值,也在这里变得现实。它不只是提高写提示词的速度,而是减少无效生成。
如果一个镜头失败,是因为角色动作没写清、光源没定义、场景关系模糊,那么继续换词生成,只是在消耗预算。更好的办法是把失败原因回到分镜层:到底是动作太复杂,还是物体关系没说明,或者需要把一个长镜头拆成两个短镜头。
这也是影视工业化里熟悉的逻辑:越靠前的问题,越便宜;越拖到后期,越贵。AI 视频生成也一样。前期分镜越清楚,后期修补的压力越小。
编剧和分镜师的工作会变得更靠前
AIGC 流程不是简单替换传统流程。
过去的链路大致是:编剧写剧本,导演构思,分镜师绘制镜头,必要时做动态预演,再进入拍摄、动画或特效制作。
加入视频生成模型后,链路会变成另一种形态:编剧提供剧情和人物关系,LLM 生成结构化分镜草案,导演和分镜师审核,视频模型批量生成素材,后期再做剪辑、合成和修正。
变化最大的不是某个岗位消失,而是工作重心前移。
编剧需要把因果关系写得更清楚。角色为什么进入房间,先看见什么,再做什么动作,这些过去可以留给导演二次创作的空间,现在会影响模型能否生成连续镜头。
分镜师也不只是画图。他们要判断 LLM 拆出来的镜头是否能剪,是否符合叙事节奏,是否存在模型难以处理的复杂动作。某些场景可能应该拆短,某些动作应该改成更容易控制的镜头语言。
导演的工作则更像审核一套机器可读的拍摄计划:哪些镜头必须保留,哪些可以让模型探索,哪些需要人工制作或后期接管。
真正缺的是统一格式
现在的麻烦在于,不同视频生成模型对提示的理解并不一致。同一段结构化分镜,换到另一个模型上,可能得到完全不同的结果。
这会限制团队把 AI 视频生成接入更成熟的影视、广告和游戏管线。传统制作里,很多环节可以依靠文件格式、资产规范和流程约定协作。AI 视频生成如果长期停留在“每个平台一套提示词习惯”,就很难成为稳定环节。
更可行的方向,是先在团队内部建立分镜交换格式:镜头编号、角色 ID、场景资产、镜头参数、运动描述、光影要求、物理约束、生成结果、失败原因,都有固定字段。哪怕它一开始只是表格或 JSON,也比散落在聊天窗口里的提示词更可靠。
等到模型和平台继续成熟,行业才可能出现更通用的格式。现在谈统一标准还早,但不妨先把自己的分镜写得像生产文件,而不是灵感备忘录。
Sora带来的问题,比单个模型更大
广州市科学技术局网站转载科技日报文章《视频生成器Sora让人喜忧交加》时提到,OpenAI 官网曾更新 48 个视频示例,包括雪地里的狗、路上行驶的车辆、城市摩天大楼间游泳的鲨鱼等。文章还解释,Sora 结合了扩散模型和转换器架构等技术,以实现更高水平的真实感。
这些信息放在今天看,重点已经不只是“Sora 能生成什么”。更关键的是,视频生成模型正在把影视制作里的很多隐性经验显性化:镜头怎么拆,动作怎么写,光线怎么交代,物理规则怎么检查。
所谓分镜脚本自动化,真正要做的不是让机器替人拍片,而是让创意进入模型之前,先变成更清楚、更可控、更容易复盘的指令。对于准备使用 Sora、Sora 3 或其他视频生成工具的团队来说,这一步可能比追逐下一个模型更新更重要。