转载笔记:本文是对 Eian(@EianLu)2026 年 11 月 5 日 X 长文《Claude code/Codex+Seedance AI视频:从一个想法到成片的全流程》的总结笔记,不是原文转载。原文链接:https://x.com/eianlu/status/2118317430665613741

这篇文章只解决一个问题:靠一套多模型工作流,用尽量少的钱、尽量低的抽卡率,做出一条自己满意的 AI 视频。全文分两部分,工具层面和实际操作层面,重点是后者,从一个想法开始,一步一步做到成片,并给出完整的提示词。

一、工具层:Claude 当总导演

用到的模型有 3 个:Claude Code、Codex、Seedance,外加 ffmpeg 和 Python 两个工具。

分工如下:

角色 负责
我 选方向、确认画风、批准花钱;看动态、听声音
Claude(导演) 写故事和分镜,写所有提示词,检查每张图和每段视频,写代码做后期
Codex(画师) 画设定图、样帧和每个镜头的首尾帧
Seedance(动画师) 把首尾帧变成几秒钟的视频

Claude 是总导演,另外两个模型都接入 Claude,由 Claude 调用。这样全程只需要和 Claude 沟通,不用切窗口、不用到处复制粘贴。没有 Claude 时也可以用 Codex 代替,活都能干,只是作者觉得 Claude 更聪明、审美更高。

接入方法很简单:电脑上装好 Claude 和 Codex 后,直接告诉 Claude 图片去调用 Codex 生成;Seedance 去火山引擎注册账号、申请 API Key,让 Claude 按要求写好脚本、填好 Key,剩下的交给它。

核心原则是把错误挡在花钱之前:提示词改几个字不花钱,重画一张图也不额外花钱,但重新生成视频要按秒付费。所以文字里能发现的错,不要留到图上;图上能发现的错,不要留到视频上。

总导演提示词(要点)

做视频前先把下面这段发给 Claude / Codex:让它当总导演,全程负责,只和它沟通。开工前先做两件事:一是问片长、画幅、总预算、要不要配乐和字幕;二是检查 Codex、ffmpeg、Python 和 ARK_API_KEY 能不能用,缺什么就说出来。所有文件放在一个新建的项目文件夹里。

分工:Claude 写故事和分镜、写所有提示词、调用其他模型、抽帧放大检查每张图和每段视频、用 ffmpeg 和 Python 写代码做后期;Codex 只负责画设定图、样帧和每个镜头的首尾帧,Claude 自己不画;如果对话方本身就是 Codex,就用它自己的生图工具;Seedance 把首尾帧变成几秒钟的视频;我只负责选方向、确认画风、批准花钱、看动态、听声音。

调用 Codex 的方式:codex exec --skip-git-repo-check -s read-only -i 参考图.png - < 提示词.txt,提示词开头写明用生图工具只生成一张图、不要执行 shell 命令,画好的图在 ~/.codex/generated_images/<日志里的 session id>/。

调用 Seedance 的方式:POST https://ark.cn-beijing.volces.com/api/v3/contents/generations/tasks,Key 放在环境变量 ARK_API_KEY 里,不要打印出来,请求格式查火山方舟文档。模型选 doubao-seedance-2-5-260628(720p 约 ¥1.5/秒)或 doubao-seedance-2-0-mini-260615(720p 约 ¥0.5/秒),价格以账单为准。

规矩一共 7 条:确认故事前不画任何图;确认画风前不画正式镜头;提交视频生成前,另开一个 agent 审核提示词和图片的每个细节,只挑错不改文件,通过后报价,同意了才提交;视频有问题先想能不能用代码修,修不了才重拍,只拍这一镜;新版本存新文件,不覆盖、不删除旧文件;Claude 看不到真正的动态、听不到声音,没看过、没听过的东西要明确告诉用户;不充值、不买额度,接口返回欠费就停,把已有的片段先粗剪出来看。

二、从一个想法到完整视频的全流程

1. 从一个想法到完整剧情

先把初步的想法或剧情讲给 AI,不用太详细,再和 AI 聊,完善剧情,直到完整的故事和脉络定稿。

一个好故事至少要满足 5 个标准:

  1. 符合现实逻辑:每个转折都要按现实追问一遍,为什么会这样、东西从哪来、够得着吗、现实里真会这样吗,除非本来就不要现实逻辑。
  2. 能用一句话说清想表达什么:写完问自己这支片子到底想说什么、哪些地方设计得最好,说不出来就说明剧情平淡,要改。
  3. 开头就要抓人:观众几秒就可能划走,最抓眼球的画面要放在前面。
  4. 旁人的反应要像真人:每个包袱或转折分 3 段写,问题、主角怎么解决、旁人什么反应。反应要有先后,几个人同一秒举手一看就是模型做的;细节也要真实,比如真人吃惊时身体会往后缩。
  5. 画面要 AI 拍得出来:AI 视频的固定弱点要避开,包括人物交叉、手拿小东西、文字、镜子和倒影、左右不对称的特征、一镜内换光、一人连做三个动作、俯拍看不到脸、配角太多,这些都容易抽卡。故事结构首选片段式,每个镜头之间不用接戏,最稳;连贯式最容易穿帮,更要注意每个片段之间的连接。

对应的提示词要点:告诉 AI 想做的片子(一句话或初步剧情)、片长、配歌(歌名、时长、BPM,不配歌就删掉)、参考片(有就写,没有就删掉),让它先把想法完善成完整故事,有不清楚的地方就问,一起聊,等确认了再往下写。故事确定后展开成逐镜头故事,满足上面 5 条要求,配歌的话转折对副歌、关键动作对重拍。

故事定稿前,强烈建议再开一个新 agent 来审核故事:主 agent 聊了很久,会自动脑补;新 agent 什么都不知道,像第一次看片的观众,哪里看不懂,就说明哪里真的没讲清楚。只给它定稿故事,其他文件都不要给。后面几步的审核也一样,只给故事、不给结论,让它按要求看一遍、给出修改结论。

审核故事的提示词要点:让新 agent 第一次看,只负责挑错、不改文件。先只按镜头顺序读,写出看懂的故事;再按顺序追问每个转折;判断能不能一句话说清想表达什么;开头抓不抓人、最抓眼球的画面在前面吗;旁人反应像真人吗、有没有先后;哪些镜头 AI 视频模型容易拍错。每条写镜头、问题、建议改法,没把握的写“可能”,最后写“通过”或“不通过”。

2. 分镜:定镜头语言、构图和配色

这是前期准备最重要的一步,决定视频质量,作者甚至觉得构图和配色比剧情还重要。每个镜头都要写清景别、机位、运镜、谁往哪走(写画面左右)、靠什么表情推进、怎么转到下一镜。

具体要求有 6 条:

  1. 每镜换角度:全片平视正面最多两次,其余用俯拍、仰拍、从背后、过肩、透过东西拍,机位越多画面越丰富。
  2. 画面里要一直有东西在动:人站着不动、东西也不动的镜头看起来像一张图片,就是画面死了。大多数镜头最好有人或东西从画面外面走进来、或从画面里走出去;人不走动的镜头,就让别的东西动,比如飘过去的一张纸、身后走过的路人。固定机位更难用,更要让人在画面里走动,比如从远处走到近处。不要连着好几个镜头都是一样大小的画面,全身、半身、脸部特写要换着来。
  3. 每个镜头都要写清楚具体是什么在运动:摄影机在动、焦点从一个人换到另一个人、光线在变、镜头前面有东西飘过、人物的小动作(比如手在抖),至少要有一样;一样都写不出来,说明镜头还没想好。但也不是动得越多越好,该动的地方动、该静的地方静,这样才有对比。
  4. 镜头运动要有理由:摄影机动一下,一定是因为有东西想给观众看。最常用的三种:跟着一个东西或人物走(比如一封信飞到哪,镜头就跟到哪);慢慢推近给特写;一开始拍得很近,再慢慢拉远。
  5. 每一秒截图都要好看:片子停在任何一秒,截下来的图都应该好看。最简单的办法是黄金比例构图,让人的头或眼睛落在画面从左往右大约 38% 或 62% 的位置,而不是正中间。
  6. 配色要单独设计:配色不要交给模型自己发挥,在画第一张图之前就确定好,按自己的喜好来。设计好配色后,让 Claude 把每一场用什么颜色单独列成一张色表;最后把画面转成黑白让 Claude 看一遍,如果转成黑白后人和背景区分不开,说明明暗对比不明显,要重新调配色。

分镜提示词要点:把定稿故事写成分镜表,每个镜头一行,写清片中时间(配歌就按小节算)、生成秒数(片中时长向上取整,尽量多留 0.5 秒)、景别、机位、运镜、谁往哪走(写画面左右)、靠什么表情推进、这个镜头是什么在动、怎么转到下一个镜头。有参考片就先逐帧看参考片,把机位、进出画比例量出来、学习模仿;没有就按上面 6 条要求自己构思。配色在画第一张图之前定好,列出每场的色表;最后用代码给每个镜头画一张 1920×1080 的色块草图,标出 38% 和 62% 的位置和主要的东西,拼成总表确认,再转成黑白检查一遍。

3. 定画风,画设定图

画风就是这部动画的绘画风格,比如宫崎骏的手绘、柔和、颜色温暖,或者线条简单的剪纸风、写实的照片风、美国动画的手绘线条感。有参考图最好,直接发给 AI。

这一步由 Claude 写提示词、Codex 画,用户只负责看是不是想要的风格。画风定下来后,给每个角色和固定道具画一张设定图,一般是正面、侧面和几个表情,相当于把长相定下来。人物身上固定的东西一定要写清楚位置,比如纹身在左手臂上,否则后面每张图的纹身位置都可能不一样。

4. 出每个视频片段的首尾帧图片

首尾帧就是每个镜头的第一张画面和最后一张画面,这是降低抽卡率最关键的一步。只靠文字生成视频,模型很容易出逻辑错误;雨、帽子、纹身这些小物件只写在文字里经常拍着拍着就没了,必须在首帧和尾帧都画上才稳当。

画的顺序:不要一上来就开画,先让 AI 把每个镜头的首帧画什么、尾帧画什么、中间发生什么都写出来,让审核 agent 审核过了再画,这样能省很多 Codex 额度。先画内容最多的那张,一般就是尾帧,再在尾帧上改出首帧,保证两张图的摄影机位置和构图一样。画同一个地点、同一个机位的镜头,直接在前一张图上改,不需要重新画,Codex 支持图片局部改动。如果镜头运动设定是慢慢推近,尾帧可以直接把首帧裁一块再放大;如果首帧和尾帧构图完全一样,镜头就等于不动,生成视频时就没有推进效果。Codex 出的图不一定正好是 16:9,提交给 Seedance 之前要检查一遍,有问题提前让 AI 裁好,首帧和尾帧尺寸也要保持一样。

首尾帧检查清单(每张图都要放大看,有问题告诉我是哪张图、哪里不对,同意了再改):动作要用到的东西,首帧里必须有,比如后面要拿杯子,首帧里就要看得到杯子,否则杯子会凭空冒出来;别人的反应要提前摆好,一段视频就是一个镜头、没法中途切过去拍别人,所以首帧里要安排好一个人在前面做事、另一个人在后面、脸朝着镜头;很多人一起出现时不能摆同一个姿势,不然模型会让所有人同时动;给动作留出空间,东西要落到、飘到的地方要提前空出来,人的头顶也要留点空;风往哪边吹要统一,不能围巾往左飘、床单却往右飘;缩小到手机大小看一遍,远处的人太小、看不清就要改;放大看有没有多余的东西,比如多一个水壶或一条奇怪的细线;把首帧和尾帧叠在一起看有没有错位,不该变的地方两张图必须一样,比如墙的颜色不一样,视频里墙就会慢慢变色,杯子大了一点,视频里杯子就会慢慢变大。

改图注意两点:Codex 就算只改一小块,也会把整张图重新处理一遍,所以只改一小块时,要把改好的那一块贴回原图;Codex 额度用完了就等它恢复,不要买额度,也不要一次同时画太多张。

5. 写视频提示词,提交前审核

作者发现很多时候画面出问题不是模型不行,而是提示词的问题,所以出问题先怀疑提示词。推荐固定用七段式提示词,把每一秒发生什么都写下来:

  • 一句话写画风,整段的画风、颜色、人物设计与首帧和尾帧完全一致。
  • 整段几秒、景别、机位、运镜,不动就写“不推不拉不摇,不切镜”。
  • 人和东西在画面哪里,墙和光是什么颜色,要和首帧对得上。
  • 每个人的长相、衣服、固定道具,写死。
  • 0–0.2 秒画面完全静止、和首帧一模一样;每一段写谁做什么、表情怎么变、手放在哪、不能碰什么、往画面哪边;最后 0.3 秒所有人完全停住,画面与尾帧完全一致。
  • 只有看得见原因的声音,人物不说话。
  • 画面里一直只有首帧这几个人和这些东西,脸和身形全程不变,一镜到底,画面干净,没有文字、字幕、水印。

模型最容易犯的错和对应写法(原文表格要点):

  • 一群人同时做同一个动作:写清谁先谁后,首帧也不要摆同一个姿势。
  • 本来该风做的事,人自己动手做了:写清原因,再写上两只手从头到尾都没有碰邮包。
  • 云、月亮、植物长出眼睛和嘴巴:不要写“卡通云”,要写“蓬松的灰白色积云,只有棉絮一样的纹理和阴影”,动作也只写它怎么移动。
  • 人往反方向走:方向按画面来写,朝画面左边走、跨过左边的店门。
  • 一句话有两种意思:写得更具体,再加上驾驶座一直空着之类的限定。
  • 东西的数量变了:把数量直接写出来。
  • 写“不要怎么样”经常没用:尽量改成正面说法。
  • 模型会自己联想道具的用法:干脆不让这个道具出现在有动作的镜头里。
  • 东西凭空出现:只用首帧里已经有的东西。
  • 东西突然飞走或瞬间移动:写清楚它是怎么动的。
  • 雨、帽子、纹身拍着拍着就没了:首帧和尾帧都画上。
  • 闪电画得太写实:写“云里闪一下白光”,再把开头剪掉。
  • 一个镜头动作太多就乱了:每个镜头只写一两个主要动作。
  • 动作的时间和写的不一样:写的时间只能算大概,多留一点时间,后期再用剪辑和变速对上节拍。
  • 镜头推得没有写的那么明显:后期让 Claude 用代码再推一点。
  • 人的嘴自己在动:写明“人物不说话”,还动就用代码修。
  • 写了“没有音乐”还是混进了音乐(Seedance 2.5):片段自带的声音不用,后期另外加。
  • 结尾几帧突然跳到尾帧的样子(Seedance 2.5):后期选一张没问题的画面,后面都停在这一张。
  • 第一张画面特别锐(Seedance 2.5):直接把这一张去掉。
  • 视频越到后面越暗越冷(Seedance 2.0 mini):每条视频都按它自己的首帧把颜色调回来。

每条视频提交之前,都要另开一个 agent,把提示词和图片的每个细节核对一遍,审核通过之后才能提交给 Seedance。作者用这个方法查出过很多问题,比如两张图里的杯子大小差了 13%、帽檐一张有一张没有、左右写反了,这也是他抽卡率极低的原因。

提交前审核的提示词要点:让审核 agent 只读不改,这个镜头马上要提交视频生成、花的是真钱。材料是提示词文件、首帧、尾帧、设定图、分镜表、配色规则。逐项核对、放大看图:提示词的每句话和两张图对得上吗;两张图的机位、大小、背景一致吗;和设定图、配色规则、前后镜头对得上吗;动作现实吗、每个动作的原因写了吗、手放在哪;模型可能在哪里出错。最后只写“通过”或“不通过”,不通过就逐条列出要改什么。

6. 生成视频

这一步都是 AI 自动完成的,不用管,但有几个省钱小技巧可以发给 AI:用 720p 生成,后期再放大到 1080p;不用专门拍测试片,直接拍第一个正式镜头,如果能用就赚了;新的做法先拿一两个最难的镜头试一下,行得通再全部提交;想清楚要不要用 Seedance 2.5,它的价格差不多是 2.0 mini 的 3 倍,预算紧就用 2.0 mini,作者感觉只要不是特别复杂的镜头,2.0 mini 就很够用了;声音要听过再用,2.0 mini 自带的音效经常能直接用,2.5 就算写了“没有音乐”有时还是会混进音乐,这种就不要用了,音效后期可以另外加。

发现问题也不要马上重拍,重拍又得花钱,先看能不能处理:能不能剪掉,问题只出现在开头或结尾那几帧,直接剪掉就行;能不能用代码修,让 Claude 尝试写代码修,修不好再考虑重拍;如果要重拍就要先改提示词或首尾帧图片,不然原样再拍一次大概率还是错的。重新拍完之后旧片段也不要删,重拍的新片段不一定比旧的好,都留着,最后放在一起挑,都是花钱拍出来的,可以用就都用上。

7. 拼接、转场、调色、放大

视频是一段一段生成的,生成完了要拼在一起、加转场、调色、放大,建议全部用代码做,让 Claude 来做。

用代码做后期的提示词要点:转场写清哪一镜到哪一镜、用什么东西盖屏或带过去,运动模糊切 8–16 份、半帧快门;调色按故事分段,只调彩度和亮度、不动色相,强调色受保护、肤色不变,不加颗粒、柔光、暗角;Seedance 的 mp4 按 BT.601 解码,中间文件用无损格式,交付标 BT.709;放大用 720p lanczos 放大到 1080p、加轻微锐化,不用整段插帧;按小节卡点,拍点只从原曲上测,不要在剪过的文件上测。做完抽查切点前后 3 帧。

8. 全片复核和交付

再新开一个审核 agent,只给它成片,不告诉它任何结论,让它像观众一样从头看一遍。再让 AI 写一份总结,把画风、提示词、犯过的错误都存好,把每次做视频的经验沉淀下来。

全片复核的提示词要点:这是成片,审核 agent 第一次看,不告诉它任何结论。全部解码,每镜取多张全分辨率帧,切点前后各取 3 帧;先写看懂的故事,再列看不懂的地方;逐镜查重复的动作、道具数量、穿帮、突跳、颜色跳变、脸变形、字的问题;明确写出查不了的东西(动态手感、声音)。每条写时间、帧号、问题,分“硬伤”和“小问题”。

最后:四线程工作模式

针对 Claude 或 Codex,也就是导演,开四个 agent 一起配合:

角色 负责什么
主做 负责所有制作
审核 每一步都检查,提交生成视频之前必须写“通过”
监督 把我说过的所有话列成清单,盯着大家有没有忘记
代理 按我平时的选择替我做决定,在我事先同意的预算内批准提交

另外三个 agent 都是 Claude 自己开子 agent,只要把下面这段提示词发给它就行。

四线程提示词要点:这支片子用四线程来做,主做再开三个子 agent,四个一起配合,一直做到片子做完或账户欠费为止。我说过的话在对话记录或要求文件里,总预算写清楚金额。分工是主做负责所有制作;审核开一个子 agent,只挑错、不改文件,每一步都要查,提交生成视频之前必须明确写“通过”;监督开一个子 agent,读完我说过的所有话、整理成要求清单,每一步都查有没有人忘了要求,包括主做;代理开一个子 agent,读完我说过的所有话、整理成我的偏好,主做和审核拿不准、或要提交生成视频时,由它按偏好来决定、并写明依据和把握,它只能在总预算内批准提交,超过预算就停下来等我。配合顺序是每做完一步,先交给审核、再交给监督,有分歧就交给代理决定,所有决定和花费都记进审核记录,我回来可以推翻任何决定。不充值、不买额度,欠费就停,先把已有的片段粗剪出来看。

作者最后说,做视频是一件非常有意思的事情,但把一支片子做好其实是非常难的,他也一直在学习,希望这篇文章对读者有用。

执笔执笔人

请我喝杯咖啡吧~

微信支付

微信支付

支付宝

支付宝

PayPal

PayPal

0 评论

Powered by Waline v3.8.0
背景音乐
直达评论
设置
回到顶部
直达底部
收起工具箱