VEED 视频节点:ComfyUI 中的说话照片、口型同步与背景移除
在 ComfyUI 中使用 VEED 合作节点,让照片开口说话、将说话人的口型重新同步到新音频,并以透明度蒙版的形式从视频片段中抠出主体。
VEED 视频节点:ComfyUI 中的说话照片、口型同步与背景移除
在 ComfyUI 中使用 VEED 合作节点,让照片开口说话、将说话人的口型重新同步到新音频,并以透明度蒙版的形式从视频片段中抠出主体。
VEED 视频节点覆盖了那些通常需要借助另一个应用才能完成的编辑步骤:把静态图像变成会说话的人像、替换现有素材中的语音,以及把主体从背景中抠出来。
在 ComfyUI 中,该提供商通过三个合作节点实现。VEED Fabric 1.0 依据音频轨道让照片动起来。VEED Lipsync 2.0 让说话者的口型与新对白重新同步。VEED Remove Video Background 返回各帧和一张透明度遮罩,而不是一段已经压平的视频,因此主体可以合成进任意画面。这三个都是云端 API 节点:它们需要带有积分的 Comfy 账户,并且不会在本地下载任何模型文件。
每个节点都按你发送的视频片段的秒数或帧数计费。音频和视频的语音清理请见 VEED Clean Audio。
[!TIP] 使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失,可能原因有: > > 1. 你用的不是最新版(每夜版)。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以,如果你发现本文档中有任何核心节点缺失,可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。
可用工作流
Fabric 1.0:会说话的照片
让静态图像开口说话。照片中的人脸会与你连接的音频进行唇形同步,片段会保留图像的宽高比,因此竖版人像仍是竖版人像。它适用于照片、插画和吉祥物,因此可以为艺术作品或从未拍摄过的角色配上声音。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“VEED Fabric 1.0: Talking Photo”
输入素材
[card] black\_fashion\_portrait.png 加载到 LoadImage 节点。一张清晰、正面朝向的脸
[card] audio\_see\_beyond\_the\_light.mp3 加载到 LoadAudio 节点。语音决定唇部运动和片段长度
音频最长可达 300 秒,视频长度与音频完全相同。分辨率可选 480p 或 720p:480p 在 16:9 下约为 864x480,720p 为 1312x736。
Lipsync 2.0
保留已拍摄的素材并替换说话者所说的内容。嘴部会与新音频重新同步,画面其余部分保持录制时的样子,这样就可以重写台词或为片段配音,而无需重新拍摄。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“VEED Lipsync 2.0: Lip Sync”
输入素材
[card] rainbow\_face\_portrait\_prism\_video.mp4 加载到 LoadVideo 节点。一位正面朝向的说话者
[card] veed\_lipsync\_rainbow\_night\_speech.wav 加载到 LoadAudio 节点。要同步的新语音
新语音最长可达 600 秒,并决定输出长度。视频保持其来源分辨率,帧率为 25 fps。当素材比音频短时,它会先正向播放再反向播放,直到音频结束;因此,如果镜头需要保持其方向,请发送足够长的片段。
移除视频背景
从视频片段中抠出主体。该节点返回的不是已合成为单层的视频,而是帧以及标记背景区域的遮罩,因此主体可以合成到新场景上,或导出为透明序列。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“VEED Remove Video Background: Matte Export”
输入素材
[card] swimcap\_glass\_pop\_video.mp4 加载到 LoadVideo 节点。片段最长可达 60 秒
该模板会将遮罩转换为 PNG 序列的透明度。当你希望将主体作为合成遮罩时,在 Image Composite Masked 之前添加 Invert Mask;或者使用 Join Image with Alpha 后接 Save WEBM 来生成透明视频。请将 WEBM 编解码器设为 vp9:它是唯一会写入透明通道的选项,av1 会丢弃透明通道。
节点控制
| 控件 | 取值 | 适用于 | 作用 |
|---|---|---|---|
model | fabric-1.0、lipsync-2.0、standard、fast、green screen | 每个节点 | 该节点使用的 VEED 模型 |
image | 图像 | Fabric 1.0 | 说话的人脸。宽高比决定输出形状 |
video | 视频片段 | Lipsync 2.0、Remove Video Background | 来源素材。背景移除最长支持 60 秒 |
audio | 音轨 | Fabric 1.0、Lipsync 2.0 | 用于同步的语音。决定输出时长 |
resolution | 480p、720p | Fabric 1.0 | 输出尺寸等级,默认 720p |
seed | 整数 | Lipsync 2.0 | 仅用于重新运行控制。结果仍是非确定性的 |
refine_foreground_edges | 默认开启 | Remove Video Background、standard 和 fast | 头发和毛发的边缘更干净。关闭后可降低价格 |
subject_is_person | 默认开启 | Remove Video Background、standard 和 fast | 当主体是物体或动物时请将其关闭 |
spill_suppression_strength | 0.0 到 1.0,默认 0.8 | Remove Video Background、green screen | 绿色偏色的移除强度。仍有绿色残留时调高,颜色发生偏移时调低 |
背景移除的输出分辨率没有可调项:standard 和 green screen 最高返回 3840x2160,fast 最高返回 1920x1080,更大的输入会被缩小。
提示
- 发送干净、正面的素材。 Fabric 需要一张清晰可见的人脸,Lipsync 需要一位面向相机的说话者。侧脸和拥挤的画面正是这两个节点容易丢失细节的场景。
- 让音频决定时长。 两个说话类节点生成的视频片段长度与所连接的语音完全一致,因此应在运行前裁剪音频,而不是事后再修剪视频。
- 直接输入已生成的语音。 将文本转语音节点连接到
audio,人像或配音片段会随之生成,无需导出步骤。 - 仅在需要时才为边缘优化付费。 在背景移除中关闭
refine_foreground_edges会降低每帧费率,对于边缘锐利的主体值得这样做。 - 仅在真正的绿幕素材上使用绿幕模式。 绿幕模式会对背景进行抠像,且没有边缘优化或人物检测,因此自然背景应使用 standard 或 fast。
开始使用
- 将 ComfyUI 更新到最新版本
- 前往模板库,搜索
VEED