使用 Gemini Omni 1.2 Flash 配合 Comfy Router
通过 Comfy Router 调用 gemini-interactions/gemini-omni-1.2-flash:端点、请求结构以及 Router 返回的响应。
使用 Gemini Omni 1.2 Flash 配合 Comfy Router
通过 Comfy Router 调用 gemini-interactions/gemini-omni-1.2-flash:端点、请求结构以及 Router 返回的响应。
gemini-interactions/gemini-omni-1.2-flash 的 API 参考,该模型由 Comfy Router 从 Gemini Interactions 提供。
输入: 文本、图像、音频、视频 · 输出: 文本 + 视频
快速开始
在你的 Comfy 工作区中创建一个密钥,并将其导出为 COMFY_API_KEY。Python 与 TypeScript 代码片段使用 Comfy SDK(pip install comfy-sdk 和 npm install @comfyorg/sdk);cURL 代码片段则是通过原始 HTTP 发起的同一调用。
模型 ID: gemini-interactions/gemini-omni-1.2-flash
端点: POST https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash
[tab] 等待结果 ``python Python theme={null} from comfy_sdk import Comfy # 从环境中读取 COMFY_API_KEY。 # SDK 会自动创建幂等键,并在自动重试时复用该键。 with Comfy() as client: result = client.models.run( "gemini-interactions/gemini-omni-1.2-flash", { "input": "Reply with the single word: ok", "stream": False, }, ) print(result)``typescript TypeScript theme={null} import { comfy } from "@comfyorg/sdk"; // 从环境中读取 COMFY_API_KEY。 // SDK 会自动创建幂等键,并在自动重试时复用该键。 const { data } = await comfy.models.run("gemini-interactions/gemini-omni-1.2-flash", { input: "Reply with the single word: ok", stream: false, }); console.log(data);``bash cURL theme={null} curl https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash \ -H "X-API-Key: $COMFY_API_KEY" \ -H "Idempotency-Key: $(uuidgen)" \ -H "Content-Type: application/json" \ -d "{\"input\": \"Reply with the single word: ok\", \"stream\": false}"``
[tab] 排队并稍后收集 相同的请求体,发送到POST https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash/requests。只要运行被接纳,Router 就会返回201及request_id,结果准备就绪后即可收集,不论是在当前进程还是另一个进程中。排队投递介绍了状态、取消与收集的完整流程。 ``python Python theme={null} import asyncio from comfy_sdk import AsyncComfy # 从环境中读取 COMFY_API_KEY。 # 每次 submit() 调用都会生成自己的 Idempotency-Key,并在自动重试时复用该键。 async def main(): async with AsyncComfy() as client: handle = await client.models.submit( "gemini-interactions/gemini-omni-1.2-flash", { "input": "Reply with the single word: ok", "stream": False, }, ) print("request_id:", handle.request_id) # 配合模型 ID,另一个进程只需这些信息 # 轮询直到请求完成,每次等待服务器指定的 Retry-After。 async for update in handle.iter_events(): print(update.status, update.queue_position) # 提供商自身的负载,与 models.run() 返回的值相同。 # 失败或已取消的请求会在这里抛出带类型的 Router 错误。 result = await handle.get() print(result) asyncio.run(main())``typescript TypeScript theme={null} import { comfy } from "@comfyorg/sdk"; // 从环境中读取 COMFY_API_KEY。 // 每次 submit() 调用都会生成自己的 Idempotency-Key,并在自动重试时复用该键。 const handle = await comfy.models.submit("gemini-interactions/gemini-omni-1.2-flash", { input: "Reply with the single word: ok", stream: false, }); console.log("requestId:", handle.requestId); // 配合模型 ID,另一个进程只需这些信息 // 轮询直到请求完成,每次等待服务器指定的 Retry-After。 for await (const update of handle.events()) { console.log(update.status, update.queuePosition); } // 与 models.run() 返回的结果相同。失败或已取消的请求会在这里被拒绝。 const result = await handle.get(); console.log(result.data);``bash cURL theme={null} # 1. 提交。Router 返回 201,以及 request_id、status_url、response_url 和 cancel_url。 curl https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash/requests \ -H "X-API-Key: $COMFY_API_KEY" \ -H "Idempotency-Key: $(uuidgen)" \ -H "Content-Type: application/json" \ -d "{\"input\": \"Reply with the single word: ok\", \"stream\": false}" # 2. 轮询直到状态为 COMPLETED,每次响应都会指定需要等待的 Retry-After 秒数。 REQUEST_ID="<request_id from the 201 body>" curl -i https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash/requests/$REQUEST_ID/status \ -H "X-API-Key: $COMFY_API_KEY" # 3. 收集。请求仍在运行时返回 202 及状态响应体,完成时返回 200 及模型的原始输出。 curl https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash/requests/$REQUEST_ID \ -H "X-API-Key: $COMFY_API_KEY"``
Schema
输入
input object required
可以是提示词字符串,也可以是带类型的内容部分数组(文本、图像、音频、视频、文档)。
model string
Gemini 模型标识符:gemini-omni-1.2-flash 或 gemini-omni-1.1-flash(正式可用),或弃用的 gemini-omni-flash-preview。在 Comfy Router 路由 POST /v2/models/gemini-interactions/{model} 上,它由路径提供,可以省略。这三种拼写(即 Comfy Router 以 gemini-interactions/<model> 寻址的集合)正是此操作所服务的拼写(supportedGeminiInteractionModels);这里将它们逐一列出,而不是约束为枚举,因为代理会自行验证模型,并对它不服务的拼写返回自己的 400 响应。
previous\_interaction\_id string
先前存储的交互的 ID,用于支持有状态的多轮视频编辑。
根据 Router 在 GET /v2/models/gemini-interactions/gemini-omni-1.2-flash/openapi.json 提供的 schema 生成;该 schema 也是它在请求到达提供商之前校验调用时所依据的同一份文档。
输出
id string
model string
object string
status string required
在 Router 响应中始终为 completed。提供商的其他状态(in_progress、requires_action、failed、cancelled、incomplete、budget_exceeded)不会通过 Router 作为 200 响应到达调用方;它们会作为携带提供商响应体的 Comfy Router 错误返回。
可能的值:completed
steps object[] required
交互时间线,按顺序排列。这里从 GeminiInteraction 上无类型的 steps 收窄而来,以便输出叶子节点可寻址;提供商会不断添加步骤类型,因此每一项都是 additionalProperties: true,只声明 Router 调用方会读取的字段。
steps\[].content object[]
此步骤的带类型内容块。
steps\[].content\[].data string
Base64 编码的内联媒体,出现在以内联方式传递的媒体块上。Google 将内联媒体限制为 4 MB,超过后要求使用 delivery: uri。
steps\[].content\[].mime\_type string
媒体块上 data 或 uri 的媒体类型。
steps\[].content\[].text string
生成的文本。出现在 text 块上,并且这是每夜 Router SDK 测试用例所断言的叶子节点:具体是在 model_output 步骤上(steps[type=model_output].content[].text)。
steps\[].content\[].type string
块类型:text、image、audio、video 或 document。
steps\[].content\[].uri string
对带外传递媒体的引用,调用方从它指定的 URI 获取。
steps\[].type string
步骤类型。model_output 是生成的答案;user_input 是检索路由回显的调用方自己的轮次;thought 是内部推理。工具步骤(function_call、function_result、code_execution_call、google_search_call 等)是开放式的,Google 会不断添加。
usage object
Gemini 交互的 token 用量。
usage.input\_tokens\_by\_modality object[]
一种模态的 token 数量。
usage.input\_tokens\_by\_modality\[].modality string
text、image、audio、video、document 之一。
usage.input\_tokens\_by\_modality\[].tokens integer
usage.output\_tokens\_by\_modality object[]
一种模态的 token 数量。
usage.output\_tokens\_by\_modality\[].modality string
text、image、audio、video、document 之一。
usage.output\_tokens\_by\_modality\[].tokens integer
usage.total\_cached\_tokens integer
usage.total\_input\_tokens integer
usage.total\_output\_tokens integer
usage.total\_thought\_tokens integer
usage.total\_tokens integer
示例
输入
{
"input": "Reply with the single word: ok",
"stream": false
}
输出
{
"id": "interactions/3f6c1a90-2b47-4d18-9a55-7c0e8b21d4f3",
"object": "interaction",
"status": "completed",
"steps": [
{
"content": [
{
"text": "ok",
"type": "text"
}
],
"type": "model_output"
}
],
"usage": {
"input_tokens_by_modality": [
{
"modality": "text",
"tokens": 9
}
],
"output_tokens_by_modality": [
{
"modality": "text",
"tokens": 2
}
],
"total_cached_tokens": 0,
"total_input_tokens": 9,
"total_output_tokens": 2,
"total_thought_tokens": 0,
"total_tokens": 11
}
}
发布前须知
SDK 会生成 Idempotency-Key 并在自动重试中复用它。手动重试时,请复用原始 key。Router 最长可保持连接 10 分钟。
请求失败时,Router 会发送 X-Comfy-Error-Type 响应头说明原因。422 表示 Router 在调用提供商之前就拒绝了输入,413 表示请求体超出了 Router 可接受的大小。已生成的资源请及时下载,因为结果 URL 会过期。
上文任何字段描述中提到的尺寸限制,都是提供商对该字段自身的限定,引自提供商的规范。Router 会对整个请求体另行设置上限,base64 编码的媒体内容也计入其中:参见请求体大小。
本页记录的是通过 Comfy Router 调用的某一个合作伙伴模型。同一个 comfy-sdk / @comfyorg/sdk 包还提供第二个客户端,用于在 Comfy Cloud 上运行完整的 ComfyUI 工作流图:Comfy(api_key=...) / new Comfy({ apiKey }),并带有 client.workflows、client.assets 和 client.jobs。请参阅 Comfy SDKs。
[card] 请求头 身份验证、幂等性、请求 ID、错误分类、重试节奏、消费限额。
[card] 使用 Router API 模型发现、验证错误、重试与计费。
[card] 限制 Router 目前不支持的功能,以及替代方案。