AI视频项目最容易失控的时刻,往往在Demo通过之后。
设想一个交付难题:15秒的赛博朋克街道Demo让团队拍板开发10分钟短片。进入正式制作,某些镜头一过5秒,霓虹招牌在闪烁中慢慢变形;人物转身,夹克拉链突然消失。单看片段像风格,剪进连续叙事就是穿帮。更麻烦的是,重跑一次,错误可能换个位置出现。
Sora曾把行业预期抬得很高。上海交通大学新闻学术网转载的材料显示,OpenAI于2024年2月15日推出Sora,演示能力包括最长一分钟视频和多镜头一致性。商传媒 SUN MEDIA的报道则称,该产品于2025年3月25日终止服务,并把使用者留存率低、运算成本高和上市前紧缩开支列为相关原因。报道还提到,OpenAI最初把Sora定位为「物理世界模拟器」。到了商业制作,演示片能连贯,不等于项目能逐镜头修改;依赖单一云端模型,也会把交付风险绑在服务状态和平台成本上。
先锁住会穿帮的东西
烂尾镜头继续靠Prompt追加「保持角色一致」「不要改变背景」,收益通常不可预测。文字描述能给方向,却很难固定招牌的空间位置、拉链的结构,以及人物与镜头的相对距离。
更可控的做法,是先在Unreal Engine 5.5或Blender中搭一个Block-out。模型可以粗,材质也可以简化,但几何位置、相机轨迹和主光方向要先定下来。低模的任务很窄:把空间关系留在一个可以重复调用、可以逐项修改的场景里。
接着输出深度图(Depth Map)、法线图(Normal Map)和光流图(Optical Flow),交给基于扩散模型的Rerendering流程。制作顺序可以压缩成一行:
低模场景 → 深度/法线/光流 → AI重渲染 → 掩码返修
此时,AI主要处理材质、纹理、光影和细节补全。霓虹招牌的位置由3D场景决定,相机运动由既定轨迹决定;画面哪里出错,后期也更容易找到对应层级。
坏一块,就修一块
Rerendering最实用的地方,是把返工从整段重生成缩小到局部。
以30秒追踪镜头为例,可以先选3至5个关键帧,在ComfyUI中用LoRA尽量约束角色特征,再处理中间帧。若检查时发现第12帧有一块100×100像素的背景崩坏,就给这一区域画掩码,用Inpainting重绘;人物、机位和其余背景不用跟着重跑。
对于适合分层的镜头,还可以拆成静态底图、动态掩码和局部重绘。客户要改招牌颜色,后期只动招牌;角色服装有问题,就回到角色层。此前《别急着叫Sora 3,10分钟短片还得靠工作流》提到的镜头拆分,在这里变成了可执行的返修方式:几何层负责位置,纹理层和光影层交给AI。
算力账单换了位置
端到端生成把计算藏在平台API后面;本地或私有云重渲染,则把GPU推理、显存占用和任务调度摆到工作室面前。
这不代表每家团队都要搭8000P算力池。站内《8000P算力池扩容实录:千卡集群的调度开销到底藏在哪》记录的是更大规模的集群场景,其中NCCL通信延迟和显存碎片会直接影响吞吐。文中案例显示,一个4K Rerendering任务若调度不当,显存利用率可能低于60%,渲染时间会从2小时拖到10小时。
对具体项目,更该先算镜头长度、分辨率、需要重绘的区域和并发任务数。能用掩码修100×100像素,就没必要重跑整段4K;能复用深度图、法线图和3D资产,也不必每次从零开始。算力管理和资产复用,最后都会反映在交付时间上。
AI坐在渲染位,项目才好改
Sora停服消息更适合被看作一次工作流校正。文生视频仍有价值,但长片和连续叙事还需要稳定的空间、时间与版本管理,单次生成很难包办这些工作。
把空间交给3D资产,把时间交给关键帧和相机轨迹,再让Rerendering补足材质与光影,AI才真正进入影视后期。能救回烂尾项目的,是可复用的场景、可定位的错误和可局部返修的镜头。一键出片的快感少了,交付反而有了抓手。