在 ComfyUI 中使用 Grok Imagine Video:AI 视频生成、编辑与扩展
在 ComfyUI 中使用 Grok Imagine 生成、编辑和扩展视频:文本/图像到视频、视频编辑、视频扩展和参考生视频工作流
在 ComfyUI 中使用 Grok Imagine Video:AI 视频生成、编辑与扩展
在 ComfyUI 中使用 Grok Imagine 生成、编辑和扩展视频:文本/图像到视频、视频编辑、视频扩展和参考生视频工作流
Grok Imagine Video 是 xAI 的视频生成系列,可通过 Grok 合作节点在 ComfyUI 中使用。它涵盖从文本或图像生成视频、视频编辑、无缝视频扩展,以及由角色或风格图像引导的参考生视频。
有关最新模型,请参阅 Grok Imagine Video 1.5。
Grok Imagine Video 擅长什么
- 带音频的视频生成:根据文本提示生成最长 15 秒、带同步音频的片段,并可选用起始图像
- 自然语言视频编辑:重塑素材风格、更改场景或应用新的美学风格,同时保留原始动态和内容
- 无缝视频扩展:根据下一场景的自然语言描述,用衔接原始素材的新片段续接短视频
- 参考生视频:以最多 7 张参考图像为引导生成视频,保持角色、产品或风格一致
- 分辨率选项:支持 480p 或 720p 输出
示例输出
根据文本提示生成视频并同步音频:
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_video.mp4" />
使用自然语言指令编辑视频,同时保持原始运动:
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_video_edit.mp4" />
视频扩展:用新场景延续短视频片段:
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_video_extend.mp4" />
参考生视频:使主体与参考图像保持一致:
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_reference_to_video.mp4" />
[!TIP] 使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失,可能原因有: > > 1. 你用的不是最新版(每夜版)。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以,如果你发现本文档中有任何核心节点缺失,可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。
Grok:视频生成
根据文本提示词生成短视频,并可选择附带起始图像。该工作流使用 grok-imagine-video 模型生成最长 15 秒、带同步音频的片段。
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_video.mp4" />
[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索 “Grok Imagine”
<details> <summary>输入素材</summary>
下载此示例输入图像以试用该工作流:
> [card] 输入图像:sci-fi\_mech.png > > 用作可选起始帧的科幻机甲 </details>
工作流总览
该工作流使用三个节点:
- LoadImage:提供可选的起始图像帧
- GrokVideoNode:核心节点,配置为使用
grok-imagine-video模型 - SaveVideo:保存已生成的视频及音频
运行步骤
- 输入提示词:在 GrokVideoNode 中描述运动、氛围和场景动态
- (可选)加载起始图像:将图像连接到 LoadImage 节点
- 设置分辨率:
480p或720p - 设置时长:选择 1 到 15 秒的长度
- 设置种子:控制节点是否重新运行;无论种子如何,输出结果都不可复现
- 点击队列:按
Ctrl+Enter生成
Grok:视频编辑
使用自然语言指令编辑上传的视频。重新设计画面风格、更改场景设置或应用新的美学风格,同时保留原始动态和内容。
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_video_edit.mp4" />
[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON 或在模板库中搜索"Grok Imagine"
<details> <summary>输入素材</summary>
下载此示例输入视频以试用该工作流:
> [card] 输入视频:futuristic\_motorcycle.mp4 > > 用作基础视频的未来摩托车片段 </details>
工作流总览
此工作流使用三个节点:
- LoadVideo:提供要编辑的来源视频
- GrokVideoEditNode:核心节点,配置了
grok-imagine-video模型 - SaveVideo:保存编辑后的视频
运行步骤
- 加载视频:将你的视频连接到 LoadVideo 节点(1 到 8.7 秒,最大 50MB)
- 描述编辑需求:在 GrokVideoEditNode 的提示中告诉模型如何变换画面
- 点击队列:按
Ctrl+Enter生成
Grok:视频扩展
以无缝衔接的续写扩展短视频。用自然语言描述下一个场景,模型会生成一段接续原始画面的新视频片段。
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_video_extend.mp4" />
[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“Grok Imagine”
<details> <summary>输入素材</summary>
下载此示例输入视频以试用该工作流:
> [card] 输入视频:deep\_space\_nexus.mp4 > > 用作基础视频的深空短片 </details>
工作流总览
此工作流使用以下三个节点:
- LoadVideo:提供要扩展的源视频
- GrokVideoExtendNode:核心节点,配置为使用
grok-imagine-video模型 - SaveVideo:保存扩展后的视频
运行步骤
- 加载视频:将您的视频连接到 LoadVideo 节点(MP4,2 到 15 秒,最大 50MB)
- 描述下一个场景:在 GrokVideoExtendNode 的提示词中告诉模型接下来应该发生什么
- 设置时长:选择扩展长度(2 到 10 秒)
- 点击队列:按下
Ctrl+Enter生成
Grok:参考图到视频
根据最多 7 张参考图像生成视频。使用角色、产品或风格参考来保持主体一致,同时提示词描述动作和场景。
<video controls src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/output/api_grok_reference_to_video.mp4" />
[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开
[card] 下载工作流 下载 JSON,或在模板库中搜索“Grok Imagine”
<details> <summary>输入素材</summary>
下载这些示例输入图像,即可试用该工作流:
> [card] 角色参考:quiet\_girl.png > > 用作主体参考的安静女性角色
> [card] 物体参考:phone.png > > 用作物体参考的智能手机 </details>
工作流总览
该工作流使用四个节点:
- LoadImage x2:提供角色和物体参考图像
- GrokVideoReferenceNode:核心节点,配置了
grok-imagine-video模型和参考图像 - SaveVideo:保存已生成的视频
运行步骤
- 加载参考图:将最多 7 张参考图像连接到 LoadImage 节点
- 输入提示词:在 GrokVideoReferenceNode 中描述场景、动作以及参考图的呈现方式
- 设置分辨率:
480p或720p - 设置宽高比:从
16:9到9:16中选择 - 设置时长:选择 2 至 10 秒之间的时长
- 点击“队列”:按
Ctrl+Enter生成