从0到1手搓AI短剧:我的全流程拆解与避坑指南
- 2026-11-18 20:04:24
前言
随着AI的不断发展,AI的能力不断变强,AI的能力边界也在不断放大,从原先的文本生成再到如今的视频生成。AI落地的项目也非常多,最近花花打算探索一下AI短剧这个赛道。2025年国内AI短剧/漫剧市场规模约168亿元,2026年机构普遍预测将突破400亿元,同比增速约138%。作为参照,2026年国内微短剧整体市场规模预计约1210亿元,AI板块的占比正在快速抬升。本文主要是我在进行AI创作的时候遇到的一些坑。
JellyFish的初尝试
一开始花花也想直接使用大厂的平台进行视频短剧的生成,但是大厂的视频价格让我望而却步。于是乎我开始寻找一些开源的项目进行本地二开,希望可以实现自己的一些想法,也是对自己想法的落地。
于是我下载了开源的AI短剧项目——jellyFish进行了二开。
JellyFish
jellyfish的定位就是AI短剧工作室,它要把创作者从“伺候AI”的零散状态中解放出来,将整条生产链路收进一个统一的工作空间,核心解决的就是资产一致性和流程管理问题。整个项目的架构如下。
后端架构:基于FastAPI + LangChain/LangGraph + SQLAlchemy构建,使用uv管理依赖,利用 LangChain 的工作流编排能力来处理 AI 生成任务。
业务分层:代码结构清晰,专门设有services/film/模块负责视频生成、分镜帧提示词等编排逻辑,以及services/studio/处理项目、章节、分镜等核心业务。
使用感受
整个jellyFish启动以后使用如图所示:

优点:
AI剧本理解与分镜拆解:输入剧本后,系统会自动拆解出镜头,并提取出角色、场景、道具、服装、对白等核心元素。
资产一致性与复用(核心亮点):系统在角色、场景、道具、服装之间维护一套共享实体模型,支持跨镜头复用。这意味着主角的形象和服装可以“定稿”并锁定,从根本上解决“变脸”问题
统一异步任务中心:文本、图像、视频生成任务统一进入一个异步系统,可查看状态、耗时,支持取消和恢复,并能跳转回对应的项目或镜头,避免长任务失控。(任务完成以后需要人工刷新,这个设计有点坑,花花自己做了优化)
缺点:
拆分太多,角色、演员本来可以合成一个,这里拆成了两个,容易浪费token导致重复生成。实际我觉得只需要一个角色资产就可以了,演员这个的目的可能是因为可以和服装结合作为后续角色的使用,但是个人认为这个太浪费token了。这样生成一个角色需要生成一个演员、多个服装、一个角色,有点重复了,粒度太细了。而如果角色服装发生了变更,完全可以将这张角色图进行重新生成,这样可以省掉很多token的费用,所以我将其演员去掉,只留下了一个角色资产。
还是图片生成的问题,角色的多视图,这个项目需要生成多张图片,例如一个角色有3个视图,那么这个角色就需要生成3张图片。而不是参照现在的模式直接一张图片生成多个视图的方法,也是一个浪费token的点
整个项目的BUG太多了,页面UI体验有点太差了,使用体验相对较差
最大的缺点就是很多地方的token感觉可以不需要,项目拆分太细了,反而非常不好用。
没有视频拼接,上下分镜之间的衔接非常生硬,需要进行二次剪辑。
没有字幕生成,需要自己后期配置
缺少用户管理,暴露外网,容易烧尽token
火宝的优化体验
jellyFish是个开源项目,别人开源出来,能用就行,要什么自行车?但是用户体验实在太差,花花修修改改了很多版以后,终于改不动了,也不知道改到哪里了?每次运行都有新的想法,根本改不完(不是拉踩,每个开源作者都不容易,加油!)。后面又看到了一个开源项目——火宝,于是乎花花就又开始了新的尝试。
火宝短剧
Huobao Drama 是一个基于 AI 的短剧自动化生产平台,实现从剧本生成、角色设计、分镜制作到视频合成的全流程自动化。
核心价值
🤖 AI 驱动:使用大语言模型解析剧本,提取角色、场景和分镜信息
🎨 智能创作:AI 绘图生成角色形象和场景背景
📹 视频生成:基于文生视频和图生视频模型自动生成分镜视频
🔄 工作流:完整的短剧制作工作流,从创意到成片一站式完成
🛠️ 技术架构
frontend/— Nuxt3+ Vue3+ TypeScript (纯 CSS,无 UI 框架)
backend/— Hono + Drizzle ORM + Mastra AI Agents + better-sqlite3
backend/workspace/skills/— Agent 技能定义 (SKILL.md,支持界面在线编辑)
desktop/— Electron 桌面版(主进程 + esbuild 打包 + electron-builder 出 dmg/exe)
data/— 生成资源文件与 SQLite 数据库
使用感受
优点
整个项目的UI设计非常简洁、快捷。整体UI设计比较符合我的使用感受。
项目的配置简单,有比较常用的AI厂商配置模板
整个流程拆分简单,很容易明白整个创建流程(项目新建-》剧本制作-》AI改写-》资产生成-》分镜生成-》视频合成),非常容易上手。
拥有视频拼接,可以将所有的分镜进行拼接,不用再自己去进行拼接
没有什么主流程的BUG需要我进行二次fix,可以很容易的添加自己二开的功能
缺点
没有字幕生成,需要自己进行二开
可以接入的厂商模板比较少(只有主流的厂商、第三方的小厂商需要自己进行接入调试)。
缺少用户登录,如果部署在外网容易被其他人使用,耗尽token
成本分析
阿里云
花花主要使用的是阿里云百炼平台,选择这个平台的主要原因就一点:拥有免费的文本、图片、视频的额度,可以进行试错。jellyFish的整个所有的图片和视频都是在阿里百炼的免费额度上进行生成(一定要把免费即停开启来!一定要把免费即停开启来!一定要把免费即停开启来!)。

通用节省计划:阿里云最近开展了通用节省计划,可以10抵20、50抵100的活动,花花就是买了阿里的通用节省计划进行了第二个项目的验证
阿里云tokenPlan:阿里云的tokenPlan也提供了丰富的token额度。通过尝试,性价比还是挺不错的。

本地部署(免费)
花花的本地设备主要是一台24G的M4 Macmini,主要用来进行图片生成和剧本改写/制作
本地部署ComfyUI,通过调用本地端口,实现图片生成
本地部署Ollama,通过API调用,实现剧本改写/制作
第三方厂商
找了一些第三方厂商,主要用来进行视频生成,目前来看,所有的三方厂商都是MINI MAX H3的视频生成性价比
第三方的API调用进行视频生成
租赁第三方的算力服务器部署模型,进行生成
三者费用比较
视频生成
这里主要是视频生成费用的比较,这块是大头,其他的费用都还好,所以主要是视频生成的费用。本文主要以720P的视频生成计费。
图片生成
总成本
通用计划:50+10 +10(10元代金券)=70
tokenPlan: 39+100.59 = 139.59
阿里云超出额度:40.03
合计:249.62元 生成视频695s视频 折合成本价0.359元/s
我的作品
JellyFish作品
在本号回复关键词:JellyFish ,可查看或👇🏻点击阅读原文
火宝作品
在本号回复关键词:火宝 ,可查看或👇🏻点击阅读原文