Wan2.2 Fun Control：ComfyUI 控制视频驱动视频生成

在 ComfyUI 中运行 Wan2.2 Fun Control 14B 工作流，依据控制视频生成视频，包含高噪声与低噪声模型以及 4 步 LoRA。

Wan2.2-Fun-Control 是 Alibaba PAI 团队推出的新一代视频生成与控制模型，通过引入创新性的控制代码（Control Codes）机制，结合深度学习和多模态条件输入，能够生成高质量且符合预设控制条件的视频。该模型采用 Apache 2.0 许可协议发布，支持商业使用。

核心功能：

• 多模态控制：支持多种控制条件，包括 Canny（线稿）、Depth（深度）、OpenPose（人体姿势）、MLSD（几何边缘） 等，同时支持使用 轨迹控制
• 高质量视频生成：基于 Wan2.2 架构，输出影视级质量视频
• 多语言支持：支持中英文等多语言提示词输入

下面是相关模型权重和代码仓库：

• 🤗Wan2.2-Fun-A14B-Control
• 代码仓库：VideoX-Fun

ComfyOrg Wan2.2 Fun InP & Control Youtube 直播回放

对于 ComfyUI Wan2.2 的使用，我们有进行了直播，你可以查看这些回放了解如何使用

ComfyUI Selection Toolbox New Features

Wan2.2 趣味控制视频生成工作流示例

[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到，可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失，可能原因有： > > 1. 你用的不是最新版（每夜版）。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以，如果你发现本文档中有任何核心节点缺失，可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。

此工作流提供两个版本：

1. 使用来自 lightx2v 的 Wan2.2-Lightning 4 步 LoRA 的版本：可能会造成视频动态性的一些损失，但速度更快
2. 不包含加速 LoRA 的 fp8\_scaled 版本

以下是在 RTX4090D 24GB VRAM GPU 上以 640×640 分辨率、81 帧进行测试的结果

由于使用 4 步 LoRA 虽可能会造成视频动态性的一些损失，但能为首次使用工作流的用户提供更好的体验，因此我们默认启用了加速 LoRA 版本。如果您想启用另一个工作流，请选择它并使用 Ctrl+B 来激活。

1. 下载工作流和材料

将您的 ComfyUI 更新到最新版本，然后下载工作流文件并将其拖入 ComfyUI，或在模板库中的 Workflow → Browse Templates → Video 下找到"Wan2.2 Fun Control"。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开

[card] 下载工作流 下载 JSON，或在模板库中搜索"Wan2.2 Fun Control"

请下载以下图像和视频作为输入材料。

输入材料

[card] video\_wan2\_2\_14B\_fun\_control\_start\_image.jpg 视频生成所需的起始帧。下载并使用该图像，或替换为您自己的图像。

[card] video\_wan2\_2\_14B\_fun\_control\_start\_image\_control\_video.mp4 预处理后的姿态控制视频。下载并使用该视频，或替换为您自己的视频。

我们在此使用预处理后的视频。

2. 模型

本指南涉及的全部模型可在此处找到。

Diffusion 模型

[card] Wan2.2 趣味控制高噪波 14B FP8 wan2.2\_fun\_control\_high\_noise\_14B\_fp8\_scaled.safetensors：高噪波 Diffusion 模型

[card] Wan2.2 趣味控制低噪波 14B FP8 wan2.2\_fun\_control\_low\_noise\_14B\_fp8\_scaled.safetensors：低噪波 Diffusion 模型

Wan2.2-Lightning LoRA（可选，用于加速）

[card] 高噪波 4 步 LoRA wan2.2\_i2v\_lightx2v\_4steps\_lora\_v1\_high\_noise.safetensors：高噪波 4 步加速 LoRA

[card] 低噪波 4 步 LoRA wan2.2\_i2v\_lightx2v\_4steps\_lora\_v1\_low\_noise.safetensors：低噪波 4 步加速 LoRA

VAE

[card] Wan2.1 VAE wan\_2.1\_vae.safetensors：用于编码/解码的 Wan2.1 VAE

文本编码器

[card] UMT5 XXL FP8 Scaled umt5\_xxl\_fp8\_e4m3fn\_scaled.safetensors：缩放版 FP8 文本编码器

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. 工作流指南

[!NOTE] 本工作流使用 LoRA。请确保相应的 Diffusion 模型和 LoRA 匹配：高噪波和低噪波模型及 LoRA 需要对应使用。

1. 高噪波模型和 LoRA 加载
2. 确保 UNet加载器 节点加载 wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors 模型
3. 确保 LoraLoaderModelOnly 节点加载 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
4. 低噪波模型和 LoRA 加载
5. 确保 UNet加载器 节点加载 wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors 模型
6. 确保 LoraLoaderModelOnly 节点加载 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
7. 确保 加载CLIP 节点加载 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
8. 确保 加载VAE 节点加载 wan_2.1_vae.safetensors 模型
9. 在 加载图像 节点中上传起始帧
10. 在第二个 加载视频 节点中，加载姿态控制视频。提供的视频已经过预处理，可直接使用
11. 由于我们提供的是预处理后的姿态视频，因此需要禁用相应的视频图像预处理节点。您可以选择该节点并使用 Ctrl + B 将其禁用
12. 修改提示词：您可以使用中文和英文
13. 在 Wan22FunControl视频 节点中，修改视频尺寸。默认设置为 640×640 分辨率，以避免低显存用户处理时间过长
14. 点击 运行 按钮，或使用快捷键 Ctrl(cmd) + Enter 执行视频生成

补充说明

由于 ComfyUI 的内置节点仅包含 Canny 预处理器，你可以使用 ComfyUI-comfyui\_controlnet\_aux 之类的工具来实现其他类型的图像预处理。