The number of frames copied from the previous segment as continuation context (Context / Context Swap continuity) was hardcoded at 22. The H3 context sampler nodes already accept 5 / 22 / 39 / 56, so the project node now exposes the same choices as a context_frames combo: - resolve the widget once in execute() and thread it through every continuation site: the ContextSwap / MotionContextHard / HiResContinuity graph nodes, the audio-lock prepend, the runtime latent trims, the passthrough context encode, and the hires/low context re-encodes - the context continuation now generates context_frames + 12 grid-tail frames (was a hardcoded 34) so every supported value stays on the H3 temporal grid; off-grid values raise a clear error up front - tests: widget propagation at 5 frames end-to-end in the built graph, off-grid rejection, schema order/options; existing 22-frame asserts unchanged - docs: multitrack-schema.md documents the widget; CHANGELOG entry Default 22 keeps every existing workflow byte-identical. |
||
|---|---|---|
| .. | ||
| agents | ||
| assets/templates | ||
| references | ||
| scripts | ||
| README.md | ||
| SKILL.md | ||
Easy Media MultiTrack Workflow Skill
这是 ComfyUI Easy Media 节点包附带的 Codex Skill,用于从内置空模板或用户提供的工作流生成 MultiTrack 工作流 JSON,并可在用户明确要求时提交到 ComfyUI 执行。
它能做什么
- 将本地图片、视频和音频上传到 ComfyUI
input目录或指定子目录。 - 自动创建和编排任务、视频、音频时间线片段。
- 把用户提示词、系统提示词和参考图片放入对应任务片段。
- 根据 MV、歌词视频、音乐驱动剪辑或旁白驱动等上下文,自动锁定主音频轨道,并可独立锁定视频画面时间线。
- 用户要求新建流程时,基于内置 v1.3.0 模板生成新的工作流。
- 用户提供已有工作流/模板时,以该文件为唯一基线生成,不覆盖其节点图。
- 用户明确要求实际生成时,上传素材并提交到指定 ComfyUI;未提供地址时先读取 Easy Media 节点包
config.yaml的COMFYUI_URL,文件或字段不存在(含空值)时才回退至http://127.0.0.1:8188。 - 通过 UI 工作流接口在 ComfyUI 新开 tab 或替换当前 tab,然后原生入队;不直接提交 API prompt。多个在线页面时必须指定目标。接口与脚本用法见 提交与执行。
- 在用户明确要求时,将
MiniMaxH3HybridLoader安全替换为UNETLoader,或替换兼容的 attention 后端。 - 调整帧率、片段起止位置、时长、连续性模式和参考图策略。
- 视频作为主体或局部替换参考时,统一使用上下文主体替换衔接、锁定视频原声,并在未指定片段长度时按 10 秒拆分任务。
- 调整
easy multitrackProject的采样方案、单/双阶段模式、开始片段索引和本次处理片段数。 - 在包含多个多轨编辑器时,通过节点连线定位实际连接到项目节点的编辑器。
- 保留用户当前工作流中的节点、连线、节点 ID、布局和其他配置,只替换目标多轨编辑器与多轨项目参数。
Skill 默认先执行 dry-run,并输出一份新的工作流文件,不会直接覆盖用户原始 JSON。
当存在多条可能作为主音频的轨道时,Skill 会结合轨道名称、文件名、时长和用户描述判断。如果仍不能唯一确认,它会先询问用户选择,不会默认锁定第一条或最长的音轨。
安装
方法一:复制到 Codex Skills 目录
在 Easy Media 节点包根目录运行:
mkdir -p ~/.codex/skills
cp -R skills/easy-media-multitrack-workflow ~/.codex/skills/
如果目标目录中已经安装了旧版本,请先备份或移走旧目录,再复制新版本。不要把新目录嵌套成:
~/.codex/skills/easy-media-multitrack-workflow/easy-media-multitrack-workflow
正确入口应为:
~/.codex/skills/easy-media-multitrack-workflow/SKILL.md
方法二:开发环境使用符号链接
如果希望节点包更新后立即使用最新版 Skill,可在节点包根目录运行:
mkdir -p ~/.codex/skills
ln -s "$(pwd)/skills/easy-media-multitrack-workflow" \
~/.codex/skills/easy-media-multitrack-workflow
目标位置已有同名文件或目录时,ln 会停止并报错,不会覆盖它。安装完成后,新建一个 Codex 任务以刷新可用 Skill 列表。
使用方法
可以显式调用:
使用 $easy-media-multitrack-workflow,把这些图片和视频上传到 input/project-a,
按每段 5 秒编排到当前工作流,并把每条提示词放入对应任务片段。
这是一个 MV 项目,请将完整歌曲作为锁定音轨,让画面按歌曲时间生成。
也可以直接描述任务;当请求涉及 Easy Media 多轨工作流时,Codex 可以自动选择该 Skill。例如:
基于我当前的工作流,只修改多轨编辑器:从第 2 个任务片段开始运行 3 段,
使用 medium 采样方案,不要替换或删除现有节点。
新建工作流示例:
使用 $easy-media-multitrack-workflow,按内置 v1.3.0 模板新建一个 MV 工作流。
将主模型改成默认 UNETLoader,attention 使用 MiniMax H3 省显存 patch,
上传歌曲并锁定主音轨,再按上下文生成任务片段和提示词。
建议同时提供:
- 当前需要编辑的工作流 JSON。
- 素材文件或可访问的绝对路径。
- 每个片段的提示词及期望时长。
- 目标帧率、片段排列方式和参考图对应关系。
- 目标分辨率、横竖屏/画幅比例、是否保持源素材比例,以及期望的缩放或裁切方式。
- MV、歌词视频或旁白驱动项目中,哪条音频是应当原样保留并驱动画面的主音频。
- 上下文分段中,是否要把同一张图片、同一段音频或同一段视频设为所有任务共用的公用参考媒体。
- 是否需要实际上传或执行,以及 ComfyUI 服务地址;未提供地址时先读取 Easy Media 节点包
config.yaml的COMFYUI_URL,文件或字段不存在(含空值)时才回退至http://127.0.0.1:8188。 - 新建流程时是否需要替换模型加载器或 attention 后端,以及用户环境中实际可用的模型文件和节点。
安全行为
Skill 只有两条基线路径:没有现有流程或明确要求从空模板开始时使用内置 v1.3.0 模板;提供了工作流/模板时以该文件为唯一基线,不用内置模板覆盖。空模板时间线为空,交付前必须写入完整的目标轨道和片段数据。
补丁脚本会检查:
- 目标编辑器是否确实连接到
easy multitrackProject。 - 时间线片段是否排序、重叠或包含无效帧范围。
- 轨道与片段 ID 是否重复。
- 媒体类型及任务参考图数量是否有效。
- 是否最多只有一条音频轨道和一条视频轨道被设置为
audio_locked: true;两者并存时音频轨道优先提供锁定音频,视频轨道保留画面时间线。 - DynamicCombo 分辨率标签与其子 widget 是否匹配,并同步命名 widget 值。
shared_reference是否只出现在任务图片项或匹配类型的音频/视频片段中,且同一音频/视频轨最多一个;旧speaker_reference仅用于兼容迁移。- 修改前后的节点数、连线和非目标节点内容是否保持不变。
上传媒体和提交 ComfyUI 队列属于外部状态变更。“生成一个工作流”只生成 JSON;只有用户明确要求运行、执行、开始生成或提交队列时才执行。未提供地址时先读取 Easy Media 节点包 config.yaml 的 COMFYUI_URL,文件或字段不存在(含空值)时才回退至 http://127.0.0.1:8188。
目录结构
easy-media-multitrack-workflow/
├── SKILL.md
├── README.md
├── agents/openai.yaml
├── assets/templates/v1.3.0-blank-workflow.json
├── references/
│ ├── multitrack-schema.md
│ ├── execution-api.md
│ ├── template-workflow.md
│ └── upload-api.md
└── scripts/
├── customize_template.py
└── patch_workflow.py
SKILL.md 是 Codex 入口;README.md 面向安装和使用者;模板资产用于新建流程;references 保存数据结构与节点替换规则;脚本负责安全定制模板、定位节点、校验补丁并生成新的工作流文件。