想搞AI短剧或开发工具的看过来,实战全程我走了一遍,踩坑经验和解法都在这
- 2026-11-14 16:59:03
AI 短剧火得不行,就算不进场做短剧,学会用 AI 做短片也很有必要。这次我全程走了一遍,踩过的坑和解法都整理在这。
👇 更多 AI 实战踩坑,戳这里
AI短剧现在真的是太火了,虽然现在个人进场想做可能不大容易,但是我觉得即使不做短剧,学会用AI做短片也是很有必要的。因为不止可以做短剧,也有人拿来做短剧带货,创意广告等等。
未来可能自己想给自己产品做什么宣传啊、广告啊,自己也有办法做出来。
所以,最近我折腾了一下AI短剧的制作。说起来有点好笑,折腾这个AI短剧,我犯了一个程序员的老毛病,那就是本来只是研究AI短剧,结果我开发了一套工具...
于是在开发这套工具的过程中,我从零开始研究了AI短剧从剧本创作,资产生成,分镜制作,整体合成的整个流程。并且在制作过程中发现并找到了以下几个问题的解决方案:
本文将解决的 6 个问题
1 · 人物的一致性
2 · 声音的一致性
3 · 场景道具的一致性
4 · 画面的连贯性
5 · 人物的站位
6 · 提示词控制转场运镜
接下来我将分享我这次短剧制作的经历和思考,以及当中参考了哪些有价值的项目,希望给刚入门想做的朋友一些参考。
一、AI短剧工具介绍
一开始的时候,我真的只是想尝试做个短剧体验一下的,于是了解了一下市面上的工具,首先是libtv,这个到处是广告,也比较成熟,但是我就不喜欢用这种云端的,因为你生成的图片等之类的素材,都在人家服务器,总感觉受制于人。(这可能是我作为程序员的毛病,总想东西放自己手上)所以,我决定自己找找工具
1、Toonflow 工具
我调研了比较多人推荐的第一个工具 Toonflow,github上18.8K 星(github.com/HBAI-Ltd/Toonflow-app),这也是个自由画布。
首先先说优点,项目整体简洁易懂,且内置调教好的智能体,生成剧本以及人物都挺方便的,比如在智能体中让它生成任务,可以自动帮你生成这样的角色图,省事不少,如果你也跟我一样注重资产自己可控的话,自己部署一个Toonflow挺不错的,基本从首帧截取,音轨提取、3D导演台等功能都挺完善的。

▲ Toonflow 智能体一键生成的角色图
但是呢,说一个我个人实际操作后的第一个不方便的点,看下图,因为每个分镜的生成,根据不同剧情需要参考不同的角色素材和场景,然后每次,都要添加图片,然后连线,然后生成。像图片上这里才两个 5秒的分镜,就看着密密麻麻的了,体验真心不好。
▲ 才两个 5 秒分镜就密密麻麻了
也许这就是自由的代价,因为它胜在灵活,没有限定特别死,所以需要人操作的肯定就多。
2、火宝短剧
因为我想着,既然对于大多数不专业的人做短剧,本来从剧本到分镜,到视频生成,都是用AI,为什么不能做的更流程化一点呢?自己拖节点,连接真的太麻烦了。于是我找了一下,还真有先行者已经做了个不错的项目了,就叫 huobao-drama,github上也有16k星星 (github.com/chatfire-AI/huobao-drama)
这个工具的特点就是将短剧完全流程化了,你只需要输入剧本内容,比如小说的某个章节,然后它可以从修改 到需要的人物设定,以及分镜之类的一键生成,下面这张图是根据剧本,然后AI一键提取得到的人物、场景、道具的设定。如果你没有啥想法,直接点击生成,就能将对应的素材生成好。

▲ 火宝一键提取的人物、场景、道具设定
分镜也一样,AI可以一键根据剧情把需要的分镜生成好,并且在提示词提前帮你组装好提示词,你只需要自己检查和优化一下提示词,直接点击生成,就能生成视频了,这可以比自由画布那种还要连线强多了

▲ 火宝自动组装好的提示词
说完了它的优点,我再说缺点,目前这个它居然不支持音频参考,以及导演台。音频参考对于保持声音稳定性是很重要的,同样的导演台对于人物站位和走位稳定控制上也是很有必要的。这两个的缺失,导致这个项目整体大打折扣。 也许这就是高度流程化的缺点吧。没有toonflow那种自由,可以想加就加。
由于这两个我都不是特别满意,最后我决定,自己搞一个工具
二、AI短剧制作常见的几个问题
于是在一边开发工具一边自己实测短剧制作的过程中,我研究和解决了以下几个AI短剧制作过程中的重点问题
1、人物的一致性
第一个就是人物的一致性问题,这个目前普遍的做法就是,在制作初期,为每个角色制定角色设定卡,并生成三视图,后续生成视频在指定某个角色的时候,加上角色的参考图片比如这样

▲ 角色的三视图参考
人物设定卡是这样的,现在截图的都是我自己开发的工具了,界面和模式基本是参考火宝那个项目的,但是我根据自己的习惯做了优化,比如它原来不支持一个角色 多套服装,而我做了加强。方便后续同角色的不同服装出镜。

▲ 我自己工具的人物设定卡(支持多套服装)
2、声音的一致性
最开始的时候,我没注意这个问题,只知道让人物讲话就完了,但是当你在第二个镜头让同一个人物讲话的时候,是会出现声音改变的情况。 因为大模型每次生成都是一个独立的人物,对于大模型而言,它根本不知道你之前生成的到底是什么东西。因此在讲话的时候,需要让AI参考音色,而音色在角色设定的时候就绑定了指定的音色,你可以自己上传合适的音色,也可以让AI生成一段人物的自我介绍,然后提取音频。这个我的工具都直接做成功能了(见上图),很方便。

▲ 声音一致性相关功能
3、场景道具的一致性
看了之前两个一致性之后,大家估计也能猜到了,场景道具的一致性,肯定就是生成图片,然后进行参考了。没错,但是有个问题,我也是小白,也是在真正进行实操后才发现这样的问题,那就是我一开始的时候每个场景就都只有一张图片比如这样子:

▲ 一开始每个场景只有一张图
但是在实际生成的时候,由于画面视角唯一,比如上面的幸存者据点图片,如果我们的镜头是从窗外往里拍的情况下,由于图片没有展示后面和左侧的画面,AI就会自己发挥,那如果多个镜头都是用这张图,到时候背景就会随机变了,观感就感觉不是同一个地方了。
所以在做分镜时,假如刚好要用到某个场景没出现的角度时,应该去补充该场景的不同视角的图片
于是我又对资产进行改造,追加了多角度的图片补充

▲ 追加的多角度图片补充
4、画面的连贯性
同样的一个场景,然后你让一个人进行说话,如果这个镜头只有一句话还好,如果这个人台词比较多,可能要连续讲话的时候。在AI大模型上需要多次生成,那么就会出现,讲话的人站位忽左忽右,画面镜头也是变来变去。如果是多人同框的话问题就更明显了。
因此要保证画面的连贯,我么需要把上一个镜头的尾帧截图下来,作为当前镜头的首帧参考。让大模型知道上一个镜头的大致画面。这样画面才会更连贯。
5、人物的站位
上面的介绍,其实可以解决一两个人的时候在画面的站位,只有第一个镜头生成了,后续参照这个镜头的站位就行了
但是,如果你对于画面有更高的要求,你第一个镜头的站位不想靠AI去猜呢? 那么这个时候就要考虑使用站位俯视图、以及动线参考图了。关于这两张图的示例和用法如下

▲ 站位俯视图和动线参考图
大家可能感觉上面这张图不好做,首先AI肯定可以生成的,但是不是很稳定。其次,其实严格意义上,不需要画那么精致,很多人说,只要你弄个场景的俯视图,然后直接截图,用截图工具直接标记划线也是可以的,比如这样子:

▲ 截图工具直接标记划线
当然更专业的做法,像Toonflow工具,以及libtv 都有专门的3D导演台,就是为了解决这个事情的。
所以我的做法就是,自己开发个简单的导演台,就是这个(就是非得自己开发,哈哈)

不过有一点需要说明,并不是加了这些参考图之后,AI就一定生成准确了。只是辅助AI更好理解。提示词描述上还是要下点功夫,抽卡也还是要抽的。
6、提示词控制转场运镜
作为新手,没有专业的拍摄的技巧,我踩的最大的坑就是,盲目的相信AI生成的分镜提示词。虽然我专门打造了一个短剧智能体,也为它安装了许多专业的skills。但是大模型对于空间感是天然缺失的。有时候你看提示词好像没有问题,但是当你用它生成视频的时候就是会出问题。
比如举个简单的提示词例子:
“主角@林薇拿着@架子走到窗口,探出身子,将架子放在在了窗户旁边的外墙上,一只手按住按钮,听见啪嗒一声,安装完毕。”
这个提示词一开始,我看了好几遍了,没感觉有啥问题的,但是实际生成的时候,它似乎永远不理解什么是窗外。。。。我都快被气死了

▲ 转场错误示例一

▲ 转场错误示例二
像这种跨空间的情况,因为我的参考图一直只给了一个室内的场景图,AI 就会认为是安装在室内。
正确的做法是,要么拆分镜。要么提示词详细描述转场。
(1)拆分镜的做法就是,把这个动作分成两个,一个是拍主角拿着架子走到窗口,然后另外一个分镜从外面拍主角伸出窗口,安装架子到外墙上。
(2)提示词详细描述的话,就是改提示词比如这样:
”主角@林薇拿着@架子走到窗口,探出身子,镜头自然切换到从窗户外往屋内拍,@林薇从里探出身子,将架子放在在了窗户旁边的外墙上,一只手按住按钮,听见啪嗒一声,安装完毕。“
这两种方式,无论哪种情况,最好都是要先生成一张 ,从窗户外拍整个窗户外墙的图片用来参考。不要嫌麻烦。
以上几个技巧掌握之后,基本上只要不是特别复杂的场景,比如武打片段,酷炫转场这类的。都能知道提示词大概要怎样写了。
至于武打这类的,抱歉,我还没学会.... 咱也是新手,评论区应该有高手吧~
推荐阅读
▸大模型token太烧钱?手把手教你配置一个自己的免费token plan(附:最新可用的免费大模型网站)
每天一个 AI 实战踩坑,感兴趣的可以戳这里 👇
觉得不错,随手点个赞、在看、转发三连吧 ✨
谢谢你看我的文章,我们,下次再见 ✨