HeyGen Avatar 6:ComfyUI 中用照片和身份生成视频
在 ComfyUI 中使用 Avatar 6 让照片、风格化角色或 HeyGen avatar 开口说话:支持自带音频、文字脚本以及 1080p 和 2K 输出。
HeyGen Avatar 6:ComfyUI 中用照片和身份生成视频
在 ComfyUI 中使用 Avatar 6 让照片、风格化角色或 HeyGen avatar 开口说话:支持自带音频、文字脚本以及 1080p 和 2K 输出。
HeyGen Avatar 6 可将一张照片、一段简短的角色视频或一个 HeyGen 数字人形象转成一段说话片段,其口型与你提供或撰写的语音同步。
在 ComfyUI 中,它通过两个合作节点运行。HeyGen Avatar 6 Reference to Video 用你自己的音频轨为照片或风格化角色制作动画。HeyGen Avatar 6 Identity to Video 根据撰写的脚本、以你选择的音色渲染预设或自定义数字人。两者都是云端 API 节点:需要拥有积分余额的 Comfy 账户,且不下载任何本地模型。费率见合作节点定价页面。
每次运行都以 1080p 或 2K 渲染,画幅为 16:9、9:16、1:1、4:5 或 5:4,片段长度跟随语音。heygen-avatar-6 是默认引擎;heygen-avatar-6-turbo 是更快、更便宜的选择。
提示 使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
提示 本地用户 请确保你的 ComfyUI 已经更新。 ComfyUI 下载 ComfyUI 更新教程 本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。 如果加载工作流时有节点缺失,可能原因有: 1. 你用的不是最新版(每夜版)。 2. 启动时有些节点导入失败。 云端用户 * Cloud 会在 ComfyUI 稳定版本发布后更新。 所以,如果你发现本文档中有任何核心节点缺失,可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。
可用工作流
照片或视频转视频
将一张照片、一段风格化角色的短视频,或两者结合,生成一段由你自己的音频驱动的说话视频。音频决定渲染的时长。
- 照片用于确定身份和场景。它不会被用作首帧:模型会重新调整姿势,因此一张双臂交叉的照片在输出时姿势会被重新调整。
- 参考视频展示角色的说话和动作方式,长度至少为 2 秒。较长的片段会被裁剪到前 30 秒。真人视频会被拒绝;请改为连接该人物的照片。
- 音频长度范围为 1.5 秒到 10 分钟。
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_heygen_avatar_6_i2v.mp4" />
在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
下载工作流 下载 JSON,或在模板库中搜索 "HeyGen Avatar 6: Photo to Video"
输入素材
pink\_hair\_portrait.png 加载到 image 输入
avatar6\_narration.mp3 加载到 audio 输入
身份转视频
无需拍摄即可渲染出镜者:选择一个预设形象或你创建的虚拟人,编写台词,然后选择声音。speech 设为 script 时该节点无需连接任何内容;设为 audio 时,请把 Load Audio 节点连接到 audio 输入。
speech 有两种模式。script 将台词写入 text(最多 5000 个字符),并用所选的 voice 朗读,可选用 voice_speed 倍数。audio 接收你自己的 0.5 秒到 10 分钟音频片段,片段长度即为渲染长度。
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_heygen_avatar_6_id2v.mp4" />
在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
下载工作流 下载 JSON,或在模板库中搜索 "HeyGen Avatar 6: Identity to Video"
模板还附带两个处于绕过状态的分组,用于创建你自己的虚拟人和声音。选中该分组的节点,按 Ctrl+B 取消绕过,然后用 运行 或 Ctrl+Enter 执行工作流,再复用保存的 ID。请先清空 Concatenate Text 中 string_a 的前缀,或直接从创建节点的输出中复制原始 ID,因为保存下来的文本是前缀加 ID:
- 虚拟人:将
source设为photo的HeyGen Create Avatar会返回一个形象 ID。在主节点上将avatar设为custom avatar,并将该 ID 粘贴到custom_avatar_id。pink_hair_portrait.png随模板提供。 - 声音:
HeyGen Voice 1.0 Instant Clone会根据至少 10 秒清晰、单人说话的音频返回一个声音 ID。将其粘贴到custom_voice_id;只要它不为空,就会覆盖voice下拉菜单。avatar6_voice_sample.mp3随模板提供。
节点控制
| 控件 | 取值 | 适用于 | 效果 |
|---|---|---|---|
model | heygen-avatar-6, heygen-avatar-6-turbo | 两个节点 | 引擎。Turbo 更便宜且更快 |
resolution | 1080p, 2k | 两个节点 | 16:9 在 1080p 下渲染为 1920x1080,在 2k 下渲染为 2880x1620 |
aspect_ratio | auto, 16:9, 9:16, 1:1, 4:5, 5:4 | 两个节点 | auto 会跟随照片;如果未连接照片,则跟随视频;在 Identity to Video 中则跟随头像的来源素材。其他值会重新构图场景 |
motion_prompt | 文本,最多 1200 个字符 | 两个节点 | 手势、表情、姿态和相机运动 |
motion_expressiveness | less, default | 两个节点 | less 会减弱手势。当两者重叠时,以运动提示词为准 |
seed | 整数 | 两个节点 | 控制节点是否重新运行;不过每次运行的结果仍会有所不同 |
image | 一张照片 | Reference to Video | 片段的人物身份和场景。不会用作首帧 |
video | 一个片段,2 到 30 秒 | Reference to Video | 角色的说话和运动方式。不接受真人 |
audio | 1.5 秒到 10 分钟 | Reference to Video | 用于对口型的语音,以及片段长度 |
avatar | 预设形象,custom avatar | Identity to Video | 出镜人物。custom avatar 会显示 custom_avatar_id |
speech | script, audio | Identity to Video | 使用所选声音的书面台词,或你自己的音频片段 |
Reference to Video 需要连接图像、视频,或两者都连接。Identity to Video 在 script 模式下不需要连接任何输入;audio 模式下需要连接音频输入。
提示技巧
- 在
motion_prompt中描述表演。说明数字人如何说话和移动:在关键词上做手势、肩膀放松、头部轻微倾斜,以及相机缓慢推近。留空即可获得中性表演。 - 画面紧凑时保持手势幅度小。对于头肩裁切,将
motion_expressiveness设为less,因为幅度大的手势会离开画面。 - 使用干净的单人语音音频。音轨中的背景音乐或第二个声音会出现在唇形同步中。对于声音克隆,10 秒连续语音就足够了。
- 在连接照片之前先调整构图。
auto会保留照片的形状,因此请裁剪为所需的宽高比,而不是之后再重新取景。
开始使用
- 将 ComfyUI 更新到最新版本
- 前往模板库,搜索
HeyGen Avatar 6