ComfyPilotComfyPilot
文档 / 教程 / Wan2.2 Fun Camera Control:ComfyUI 相机运镜视频生成

Wan2.2 Fun Camera Control:ComfyUI 相机运镜视频生成

在 ComfyUI 中使用 Wan2.2-Fun-Camera-Control 按预设运镜生成视频:支持上下左右平移与缩放,并提供 4 步 Lightning LoRA 加速方案。

教程 wan2-2-fun-camera 更新于 2026-11-12

查看官方原文

Wan2.2 Fun Camera Control:ComfyUI 相机运镜视频生成

在 ComfyUI 中使用 Wan2.2-Fun-Camera-Control 按预设运镜生成视频:支持上下左右平移与缩放,并提供 4 步 Lightning LoRA 加速方案。

Wan2.2-Fun-Camera-Control 是 Alibaba PAI 团队推出的新一代视频生成与相机控制模型,通过引入创新性的相机控制代码(Camera Control Codes)机制,结合深度学习和多模态条件输入,能够生成高质量且符合预设相机运动条件的视频。该模型采用 Apache 2.0 许可证发布,支持商业使用。

核心功能:

  • 相机运动控制:支持多种相机运动模式,包括 Pan Up(向上平移)、Pan Down(向下平移)、Pan Left(向左平移)、Pan Right(向右平移)、Zoom In(放大)、Zoom Out(缩小) 等,以及组合运动。
  • 高质量视频生成:基于 Wan2.2 架构,输出影视级视频。

下面是相关模型权重和代码仓库:

Wan2.2 Fun Camera Control:视频生成工作流示例

[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失,可能原因有: > > 1. 你用的不是最新版(每夜版)。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以,如果你发现本文档中有任何核心节点缺失,可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。

这里提供的工作流包含两个版本:

  1. 使用了 lightx2v 的 Wan2.2-Lightning 4 步 LoRA:这可能会降低视频的动态效果,但生成速度更快。
  2. 未使用加速 LoRA 的 fp8\_scaled 版本。

下面是在 RTX4090D 24GB 显存 GPU 上,640×640 分辨率、81 帧长度的测试结果:

模型类型分辨率显存占用首次生成时长第二次生成时长
fp8\_scaled640×64084%≈ 536 秒≈ 513 秒
fp8\_scaled + 4 步 LoRA640×64089%≈ 108 秒≈ 71 秒

4 步 LoRA 可改善初次使用的体验,但可能会降低视频的动态效果。默认启用了加速 LoRA 版本。如需切换工作流,框选节点后按 Ctrl+B。

1. 工作流及素材下载

下载下方的视频或 JSON 文件,拖入 ComfyUI 即可加载对应工作流,工作流会提示下载模型。

<video controls src="https://raw.githubusercontent.com/Comfy-Org/example_workflows/refs/heads/main/video/wan/wan2.2_fun_camera/wan2.2_14B_fun_camera.mp4" />

Wan2.2 Fun Camera Control 工作流

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索「Wan2.2 Fun Camera」

请下载下方的图像,我们将用它作为输入。

输入素材

[card] video\_wan2\_2\_14B\_fun\_camera\_start\_image.jpg 视频生成的起始帧。下载并使用此图像,或替换为你自己的图像。

2. 模型链接

以下模型可在 Wan\_2.2\_ComfyUI\_Repackaged 中找到:

扩散模型

[card] wan2.2\_fun\_camera\_high\_noise\_14B\_fp8\_scaled.safetensors Wan2.2 Fun Camera 的高噪声扩散模型
[card] wan2.2\_fun\_camera\_low\_noise\_14B\_fp8\_scaled.safetensors Wan2.2 Fun Camera 的低噪声扩散模型

Wan2.2-Lightning LoRA(可选,用于加速)

[card] wan2.2\_i2v\_lightx2v\_4steps\_lora\_v1\_high\_noise.safetensors 高噪声模型的 4 步加速 LoRA
[card] wan2.2\_i2v\_lightx2v\_4steps\_lora\_v1\_low\_noise.safetensors 低噪声模型的 4 步加速 LoRA

VAE

[card] wan\_2.1\_vae.safetensors Wan2.1 VAE,用于编码/解码

文本编码器

[card] umt5\_xxl\_fp8\_e4m3fn\_scaled.safetensors FP8 缩放文本编码器

文件保存位置

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. 按步骤完成工作流

Wan2.2 Fun Camera Control 工作流步骤

[!NOTE] 本工作流使用了 LoRA。请确保扩散模型与 LoRA 一致;高噪声和低噪声模型及 LoRA 需对应使用。
  1. 高噪声模型及 LoRA 加载
  2. 确保 Load Diffusion Model 节点加载了 wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors
  3. 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  4. 低噪声模型及 LoRA 加载
  5. 确保 Load Diffusion Model 节点加载了 wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors
  6. 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  7. 确保 Load CLIP 节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors
  8. 确保 Load VAE 节点加载了 wan_2.1_vae.safetensors
  9. 在 Load Image 节点上传起始帧
  10. 修改 Prompt(中文或英文均可)
  11. 在 WanCameraEmbedding 节点设置相机控制参数:
  12. Camera Motion:选择相机运动类型(Zoom In、Zoom Out、Pan Up、Pan Down、Pan Left、Pan Right、Static 等)
  13. Width/Height:设置视频分辨率
  14. Length:设置视频帧数(默认 81 帧)
  15. Speed:设置视频速度(默认 1.0)
  16. 点击 Run 按钮,或使用快捷键 Ctrl(cmd) + Enter 来执行视频生成