ComfyPilotComfyPilot
文档 / 教程 / VEED 视频节点:ComfyUI 中的说话照片、口型同步与背景移除

VEED 视频节点:ComfyUI 中的说话照片、口型同步与背景移除

在 ComfyUI 中使用 VEED 合作节点,让照片开口说话、将说话人的口型重新同步到新音频,并以透明度蒙版的形式从视频片段中抠出主体。

教程 veed-video 更新于 2026-11-12

查看官方原文

VEED 视频节点:ComfyUI 中的说话照片、口型同步与背景移除

在 ComfyUI 中使用 VEED 合作节点,让照片开口说话、将说话人的口型重新同步到新音频,并以透明度蒙版的形式从视频片段中抠出主体。

VEED 视频节点覆盖了那些通常需要借助另一个应用才能完成的编辑步骤:把静态图像变成会说话的人像、替换现有素材中的语音,以及把主体从背景中抠出来。

在 ComfyUI 中,该提供商通过三个合作节点实现。VEED Fabric 1.0 依据音频轨道让照片动起来。VEED Lipsync 2.0 让说话者的口型与新对白重新同步。VEED Remove Video Background 返回各帧和一张透明度遮罩,而不是一段已经压平的视频,因此主体可以合成进任意画面。这三个都是云端 API 节点:它们需要带有积分的 Comfy 账户,并且不会在本地下载任何模型文件。

每个节点都按你发送的视频片段的秒数或帧数计费。音频和视频的语音清理请见 VEED Clean Audio。

[!TIP] 使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失,可能原因有: > > 1. 你用的不是最新版(每夜版)。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以,如果你发现本文档中有任何核心节点缺失,可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。

可用工作流

Fabric 1.0:会说话的照片

让静态图像开口说话。照片中的人脸会与你连接的音频进行唇形同步,片段会保留图像的宽高比,因此竖版人像仍是竖版人像。它适用于照片、插画和吉祥物,因此可以为艺术作品或从未拍摄过的角色配上声音。

VEED Fabric 1.0: Talking Photo 工作流预览

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“VEED Fabric 1.0: Talking Photo”

输入素材

[card] black\_fashion\_portrait.png 加载到 LoadImage 节点。一张清晰、正面朝向的脸
[card] audio\_see\_beyond\_the\_light.mp3 加载到 LoadAudio 节点。语音决定唇部运动和片段长度

音频最长可达 300 秒,视频长度与音频完全相同。分辨率可选 480p 或 720p:480p 在 16:9 下约为 864x480,720p 为 1312x736。

Lipsync 2.0

保留已拍摄的素材并替换说话者所说的内容。嘴部会与新音频重新同步,画面其余部分保持录制时的样子,这样就可以重写台词或为片段配音,而无需重新拍摄。

VEED Lipsync 2.0 工作流预览

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“VEED Lipsync 2.0: Lip Sync”

输入素材

[card] rainbow\_face\_portrait\_prism\_video.mp4 加载到 LoadVideo 节点。一位正面朝向的说话者
[card] veed\_lipsync\_rainbow\_night\_speech.wav 加载到 LoadAudio 节点。要同步的新语音

新语音最长可达 600 秒,并决定输出长度。视频保持其来源分辨率,帧率为 25 fps。当素材比音频短时,它会先正向播放再反向播放,直到音频结束;因此,如果镜头需要保持其方向,请发送足够长的片段。

移除视频背景

从视频片段中抠出主体。该节点返回的不是已合成为单层的视频,而是帧以及标记背景区域的遮罩,因此主体可以合成到新场景上,或导出为透明序列。

VEED Remove Video Background 工作流预览

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“VEED Remove Video Background: Matte Export”

输入素材

[card] swimcap\_glass\_pop\_video.mp4 加载到 LoadVideo 节点。片段最长可达 60 秒

该模板会将遮罩转换为 PNG 序列的透明度。当你希望将主体作为合成遮罩时,在 Image Composite Masked 之前添加 Invert Mask;或者使用 Join Image with Alpha 后接 Save WEBM 来生成透明视频。请将 WEBM 编解码器设为 vp9:它是唯一会写入透明通道的选项,av1 会丢弃透明通道。

节点控制

控件取值适用于作用
modelfabric-1.0、lipsync-2.0、standard、fast、green screen每个节点该节点使用的 VEED 模型
image图像Fabric 1.0说话的人脸。宽高比决定输出形状
video视频片段Lipsync 2.0、Remove Video Background来源素材。背景移除最长支持 60 秒
audio音轨Fabric 1.0、Lipsync 2.0用于同步的语音。决定输出时长
resolution480p、720pFabric 1.0输出尺寸等级,默认 720p
seed整数Lipsync 2.0仅用于重新运行控制。结果仍是非确定性的
refine_foreground_edges默认开启Remove Video Background、standard 和 fast头发和毛发的边缘更干净。关闭后可降低价格
subject_is_person默认开启Remove Video Background、standard 和 fast当主体是物体或动物时请将其关闭
spill_suppression_strength0.0 到 1.0,默认 0.8Remove Video Background、green screen绿色偏色的移除强度。仍有绿色残留时调高,颜色发生偏移时调低

背景移除的输出分辨率没有可调项:standard 和 green screen 最高返回 3840x2160,fast 最高返回 1920x1080,更大的输入会被缩小。

提示

  • 发送干净、正面的素材。 Fabric 需要一张清晰可见的人脸,Lipsync 需要一位面向相机的说话者。侧脸和拥挤的画面正是这两个节点容易丢失细节的场景。
  • 让音频决定时长。 两个说话类节点生成的视频片段长度与所连接的语音完全一致,因此应在运行前裁剪音频,而不是事后再修剪视频。
  • 直接输入已生成的语音。 将文本转语音节点连接到 audio,人像或配音片段会随之生成,无需导出步骤。
  • 仅在需要时才为边缘优化付费。 在背景移除中关闭 refine_foreground_edges 会降低每帧费率,对于边缘锐利的主体值得这样做。
  • 仅在真正的绿幕素材上使用绿幕模式。 绿幕模式会对背景进行抠像,且没有边缘优化或人物检测,因此自然背景应使用 standard 或 fast。

开始使用

  1. 将 ComfyUI 更新到最新版本
  2. 前往模板库,搜索 VEED