MMnode/skills/easy-media-multitrack-workflow
Z User 46617b71b8 fix: snap the half-res first pass onto the even-latent grid
Multi-segment projects crashed on the first continuation segment with
RuntimeError: shape '[1, 24, 1, 1, 8, 2, 15, 2]' is invalid for input of
size 12240 (patchify_video). The hidden half-resolution first pass
declared its size with plain integer halving, so a 1920x1080 editor
sampled at 960x540 - and a latent encoded from 540px carries an odd
17-row count. Odd latents sample fine, but when the segment tail comes
back as motion-context keyframes on the next segment, the model's
patchify_video (2x2 latent patches) cannot reshape them.

The first pass now snaps onto the nearest 64px grid (h3_even_latent_size)
so every latent in the pipeline keeps even row/column counts:

- 1920x1080 editor samples at 960x512 (was 960x540 -> 17 rows)
- 1344x768 samples at 704x384 (672 had odd latent columns)
- 3840x2160 is unchanged at 1920x1088 - the size the VAE already rounds
  up to, so the 4K-editor trick behaves identically

Outputs and second-pass dimensions are unchanged; only continuation
segments that previously crashed now run. Also updates the stale
single-task expansion test, which still expected pre-half-res-trick
conditioning dimensions (editor size instead of the sampled size).
2026-10-15 02:05:48 +00:00
..
agents init 2026-09-26 11:11:23 -07:00
assets/templates init 2026-09-26 11:11:23 -07:00
references fix: snap the half-res first pass onto the even-latent grid 2026-10-15 02:05:48 +00:00
scripts init 2026-09-26 11:11:23 -07:00
README.md init 2026-09-26 11:11:23 -07:00
SKILL.md init 2026-09-26 11:11:23 -07:00

Easy Media MultiTrack Workflow Skill

这是 ComfyUI Easy Media 节点包附带的 Codex Skill,用于从内置空模板或用户提供的工作流生成 MultiTrack 工作流 JSON,并可在用户明确要求时提交到 ComfyUI 执行。

它能做什么

  • 将本地图片、视频和音频上传到 ComfyUI input 目录或指定子目录。
  • 自动创建和编排任务、视频、音频时间线片段。
  • 把用户提示词、系统提示词和参考图片放入对应任务片段。
  • 根据 MV、歌词视频、音乐驱动剪辑或旁白驱动等上下文,自动锁定主音频轨道,并可独立锁定视频画面时间线。
  • 用户要求新建流程时,基于内置 v1.3.0 模板生成新的工作流。
  • 用户提供已有工作流/模板时,以该文件为唯一基线生成,不覆盖其节点图。
  • 用户明确要求实际生成时,上传素材并提交到指定 ComfyUI;未提供地址时先读取 Easy Media 节点包 config.yaml 的 COMFYUI_URL,文件或字段不存在(含空值)时才回退至 http://127.0.0.1:8188。
  • 通过 UI 工作流接口在 ComfyUI 新开 tab 或替换当前 tab,然后原生入队;不直接提交 API prompt。多个在线页面时必须指定目标。接口与脚本用法见 提交与执行。
  • 在用户明确要求时,将 MiniMaxH3HybridLoader 安全替换为 UNETLoader,或替换兼容的 attention 后端。
  • 调整帧率、片段起止位置、时长、连续性模式和参考图策略。
  • 视频作为主体或局部替换参考时,统一使用上下文主体替换衔接、锁定视频原声,并在未指定片段长度时按 10 秒拆分任务。
  • 调整 easy multitrackProject 的采样方案、单/双阶段模式、开始片段索引和本次处理片段数。
  • 在包含多个多轨编辑器时,通过节点连线定位实际连接到项目节点的编辑器。
  • 保留用户当前工作流中的节点、连线、节点 ID、布局和其他配置,只替换目标多轨编辑器与多轨项目参数。

Skill 默认先执行 dry-run,并输出一份新的工作流文件,不会直接覆盖用户原始 JSON。

当存在多条可能作为主音频的轨道时,Skill 会结合轨道名称、文件名、时长和用户描述判断。如果仍不能唯一确认,它会先询问用户选择,不会默认锁定第一条或最长的音轨。

安装

方法一:复制到 Codex Skills 目录

在 Easy Media 节点包根目录运行:

mkdir -p ~/.codex/skills
cp -R skills/easy-media-multitrack-workflow ~/.codex/skills/

如果目标目录中已经安装了旧版本,请先备份或移走旧目录,再复制新版本。不要把新目录嵌套成:

~/.codex/skills/easy-media-multitrack-workflow/easy-media-multitrack-workflow

正确入口应为:

~/.codex/skills/easy-media-multitrack-workflow/SKILL.md

方法二:开发环境使用符号链接

如果希望节点包更新后立即使用最新版 Skill,可在节点包根目录运行:

mkdir -p ~/.codex/skills
ln -s "$(pwd)/skills/easy-media-multitrack-workflow" \
  ~/.codex/skills/easy-media-multitrack-workflow

目标位置已有同名文件或目录时,ln 会停止并报错,不会覆盖它。安装完成后,新建一个 Codex 任务以刷新可用 Skill 列表。

使用方法

可以显式调用:

使用 $easy-media-multitrack-workflow,把这些图片和视频上传到 input/project-a,
按每段 5 秒编排到当前工作流,并把每条提示词放入对应任务片段。
这是一个 MV 项目,请将完整歌曲作为锁定音轨,让画面按歌曲时间生成。

也可以直接描述任务;当请求涉及 Easy Media 多轨工作流时,Codex 可以自动选择该 Skill。例如:

基于我当前的工作流,只修改多轨编辑器:从第 2 个任务片段开始运行 3 段,
使用 medium 采样方案,不要替换或删除现有节点。

新建工作流示例:

使用 $easy-media-multitrack-workflow,按内置 v1.3.0 模板新建一个 MV 工作流。
将主模型改成默认 UNETLoader,attention 使用 MiniMax H3 省显存 patch,
上传歌曲并锁定主音轨,再按上下文生成任务片段和提示词。

建议同时提供:

  • 当前需要编辑的工作流 JSON。
  • 素材文件或可访问的绝对路径。
  • 每个片段的提示词及期望时长。
  • 目标帧率、片段排列方式和参考图对应关系。
  • 目标分辨率、横竖屏/画幅比例、是否保持源素材比例,以及期望的缩放或裁切方式。
  • MV、歌词视频或旁白驱动项目中,哪条音频是应当原样保留并驱动画面的主音频。
  • 上下文分段中,是否要把同一张图片、同一段音频或同一段视频设为所有任务共用的公用参考媒体。
  • 是否需要实际上传或执行,以及 ComfyUI 服务地址;未提供地址时先读取 Easy Media 节点包 config.yaml 的 COMFYUI_URL,文件或字段不存在(含空值)时才回退至 http://127.0.0.1:8188。
  • 新建流程时是否需要替换模型加载器或 attention 后端,以及用户环境中实际可用的模型文件和节点。

安全行为

Skill 只有两条基线路径:没有现有流程或明确要求从空模板开始时使用内置 v1.3.0 模板;提供了工作流/模板时以该文件为唯一基线,不用内置模板覆盖。空模板时间线为空,交付前必须写入完整的目标轨道和片段数据。

补丁脚本会检查:

  • 目标编辑器是否确实连接到 easy multitrackProject。
  • 时间线片段是否排序、重叠或包含无效帧范围。
  • 轨道与片段 ID 是否重复。
  • 媒体类型及任务参考图数量是否有效。
  • 是否最多只有一条音频轨道和一条视频轨道被设置为 audio_locked: true;两者并存时音频轨道优先提供锁定音频,视频轨道保留画面时间线。
  • DynamicCombo 分辨率标签与其子 widget 是否匹配,并同步命名 widget 值。
  • shared_reference 是否只出现在任务图片项或匹配类型的音频/视频片段中,且同一音频/视频轨最多一个;旧 speaker_reference 仅用于兼容迁移。
  • 修改前后的节点数、连线和非目标节点内容是否保持不变。

上传媒体和提交 ComfyUI 队列属于外部状态变更。“生成一个工作流”只生成 JSON;只有用户明确要求运行、执行、开始生成或提交队列时才执行。未提供地址时先读取 Easy Media 节点包 config.yaml 的 COMFYUI_URL,文件或字段不存在(含空值)时才回退至 http://127.0.0.1:8188。

目录结构

easy-media-multitrack-workflow/
├── SKILL.md
├── README.md
├── agents/openai.yaml
├── assets/templates/v1.3.0-blank-workflow.json
├── references/
│   ├── multitrack-schema.md
│   ├── execution-api.md
│   ├── template-workflow.md
│   └── upload-api.md
└── scripts/
    ├── customize_template.py
    └── patch_workflow.py

SKILL.md 是 Codex 入口;README.md 面向安装和使用者;模板资产用于新建流程;references 保存数据结构与节点替换规则;脚本负责安全定制模板、定位节点、校验补丁并生成新的工作流文件。