Gemini Omni Flash 1.2:对话式视频生成
在 ComfyUI 中使用 Gemini Omni Flash 1.2 生成和编辑视频:文本、图像、参考、编辑和延展工作流,每个片段都带原生音频
Gemini Omni Flash 1.2:对话式视频生成
在 ComfyUI 中使用 Gemini Omni Flash 1.2 生成和编辑视频:文本、图像、参考、编辑和延展工作流,每个片段都带原生音频
Gemini Omni Flash 1.2 是 Google 的对话式视频模型,可通过 Google Gemini Omni (Video) 合作伙伴节点在 ComfyUI 中使用。用自然语言描述镜头,附上参考图像或视频片段,节点即可返回带同步音频的视频。
1.2 版本可生成 3 至 15 秒的片段,分辨率为 360p、720p、1080p 或 4K,画面比例为 16:9 或 9:16。它最多可接收 14 张参考图像和 3 个参考视频,并可将片段延长至 30 秒。Omni Flash 1.1 和更早的预览模型仍可在该节点中选择。
Gemini Omni Flash 1.2 的擅长之处
- 对话式编辑:更改角色、为场景重新打光、调整相机角度,或添加和移除对象,同时镜头其余部分保持其构图和音频不变
- 多模态输入:组合文本、最多 14 张图像,以及最多 3 段各 15 秒的参考视频
- 关键帧插值:使用
image_to_video任务,附加起始帧和可选的结束帧,模型会生成两者之间的画面 - 参考图生视频:将每张参考图像标记为
<IMAGE_REF_0>并在提示词中命名,使角色或产品出现在新场景中,而不是被用作帧 - 场景扩展:
extend任务从片段末尾帧继续生成,最长可得到 30 秒的结果,且没有可见接缝 - 分辨率控制:以 360p 生成草稿,再将最终片段渲染至最高 4K
[!TIP] 使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失,可能原因有: > > 1. 你用的不是最新版(每夜版)。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以,如果你发现本文档中有任何核心节点缺失,可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。
[!NOTE] Gemini Omni Flash 1.2 工作流需要 ComfyUI 0.44.1 或更高版本。在节点的模型下拉菜单中选择 Omni Flash 1.2。
可用工作流
文本到视频(Omni Flash 1.2)
将场景、时长(3 到 15 秒)和运动写入一个提示词中。该节点会返回视频片段,并附带已生成的音频轨道。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“Gemini Omni 1.2”
图像转视频(Omni Flash 1.2)
使用 image_to_video 任务让静态图像动起来。第一张图像是起始帧,可选的第二张图像是结束帧,提示词则承载运动与声音。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索 “Gemini Omni 1.2”
<details> <summary>输入素材</summary>
下载此示例输入图像以试用该工作流:
> [card] 输入图像 > > 下载示例输入图像 </details>
参考图生视频(Omni Flash 1.2)
让主体在新场景中保持一致。将每张参考图像标记为 <IMAGE_REF_0>,并在提示词中命名该标记:角色或产品会出现在视频中,而图像本身绝不会被用作帧。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON 或在模板库中搜索“Gemini Omni 1.2”
<details> <summary>输入素材</summary>
下载这些示例输入图像以试用该工作流:
> [card] 参考图像 1 > > 下载第一张示例参考图像
> [card] 参考图像 2 > > 下载第二张示例参考图像 </details>
视频编辑(Omni Flash 1.2)
使用 edit 任务改变已完成片段中的某一处内容:替换背景、重新设计场景风格、添加或移除某个元素,同时保持剪辑、时序和音频不变。只附带一段不超过 15 秒的视频,提示词只写你想要的改动,并加上 keep everything else the same 以获得最佳一致性。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索 “Gemini Omni 1.2”
<details> <summary>输入素材</summary>
下载这段示例输入视频以试用该工作流:
> [card] 输入视频 > > 下载示例输入视频 </details>
视频延展(Omni Flash 1.2)
在已完成的片段基础上继续,而不是重新拍摄。extend 任务会读取最后几帧,并让主体、构图与音频在下一段中延续:5 秒的输入会得到 10 秒的输出。输入视频最长可达 25 秒,结果最长可达 30 秒。

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索 "Gemini Omni 1.2"
<details> <summary>输入素材</summary>
下载此示例输入视频以试用该工作流:
> [card] 输入视频 > > 下载示例输入视频 </details>
开始使用
- 将 ComfyUI 更新到 0.44.1 或更高版本
- 双击画布并搜索“Google Gemini Omni (Video)”,或从模板库打开工作流
- 在模型下拉菜单中选择 Omni Flash 1.2
- 选择与你输入匹配的任务,编写提示词并运行
[!NOTE] 为获得最佳效果,可将 Gemini Omni Flash 与 Nano Banana 2 Lite 搭配使用:先高速生成图像,再将它们动画化为视频。