通过 Comfy Router 使用视频唇形同步
通过 Comfy Router 调用 kling/videos-lip-sync:端点、请求结构以及 Router 返回的响应。
通过 Comfy Router 使用视频唇形同步
通过 Comfy Router 调用 kling/videos-lip-sync:端点、请求结构以及 Router 返回的响应。
kling/videos-lip-sync 的 API 参考,由 Comfy Router 从 Kling 提供。
输入: 视频, 音频 · 输出: 视频
快速开始
在你的 Comfy 工作区中创建密钥,并将其导出为 COMFY_API_KEY。Python 和 TypeScript 代码片段使用 Comfy SDK(pip install comfy-sdk 和 npm install @comfyorg/sdk);cURL 代码片段则是通过原始 HTTP 发起的同一个调用。
模型 ID: kling/videos-lip-sync
端点: POST https://api.comfy.org/v2/models/kling/videos-lip-sync
[tab] 等待结果 ``python Python theme={null} from comfy_sdk import Comfy # 从环境变量中读取 COMFY_API_KEY。 # SDK 会自动创建幂等键,并在自动重试时复用它。 with Comfy() as client: result = client.models.run( "kling/videos-lip-sync", { "input": { "mode": "text2video", "text": "Welcome to Comfy Cloud.", "video_id": "kling-video-6f5e4d3c2b1a", "voice_id": "genshin_vindi2", "voice_language": "en", "voice_speed": 1, }, }, ) print(result)``typescript TypeScript theme={null} import { comfy } from "@comfyorg/sdk"; // 从环境变量中读取 COMFY_API_KEY。 // SDK 会自动创建幂等键,并在自动重试时复用它。 const { data } = await comfy.models.run("kling/videos-lip-sync", { input: { mode: "text2video", text: "Welcome to Comfy Cloud.", video_id: "kling-video-6f5e4d3c2b1a", voice_id: "genshin_vindi2", voice_language: "en", voice_speed: 1, }, }); console.log(data);``bash cURL theme={null} curl https://api.comfy.org/v2/models/kling/videos-lip-sync \ -H "X-API-Key: $COMFY_API_KEY" \ -H "Idempotency-Key: $(uuidgen)" \ -H "Content-Type: application/json" \ -d "{\"input\": {\"mode\":\"text2video\",\"text\":\"Welcome to Comfy Cloud.\",\"video_id\":\"kling-video-6f5e4d3c2b1a\",\"voice_id\":\"genshin_vindi2\",\"voice_language\":\"en\",\"voice_speed\":1}}"``
[tab] 加入队列并稍后收集 将相同的请求体发送到POST https://api.comfy.org/v2/models/kling/videos-lip-sync/requests。运行被受理后,Router 会立即返回201和request_id;结果就绪后,可以从本进程或其他进程收集。状态、取消与收集的细节见 队列投递。 ``python Python theme={null} import asyncio from comfy_sdk import AsyncComfy # 从环境变量中读取 COMFY_API_KEY。 # 每次 submit() 调用都会生成自己的 Idempotency-Key,并在自动重试时复用它。 async def main(): async with AsyncComfy() as client: handle = await client.models.submit( "kling/videos-lip-sync", { "input": { "mode": "text2video", "text": "Welcome to Comfy Cloud.", "video_id": "kling-video-6f5e4d3c2b1a", "voice_id": "genshin_vindi2", "voice_language": "en", "voice_speed": 1, }, }, ) print("request_id:", handle.request_id) # 有了模型 ID,这就是另一进程所需的全部信息 # 轮询直到请求完成,按服务器给出的 Retry-After 时间等待。 async for update in handle.iter_events(): print(update.status, update.queue_position) # 提供商自己的载荷,即 models.run() 返回的同一个值。 # 失败或已取消的请求会在此处抛出带类型的 Router 错误。 result = await handle.get() print(result) asyncio.run(main())``typescript TypeScript theme={null} import { comfy } from "@comfyorg/sdk"; // 从环境变量中读取 COMFY_API_KEY。 // 每次 submit() 调用都会生成自己的 Idempotency-Key,并在自动重试时复用它。 const handle = await comfy.models.submit("kling/videos-lip-sync", { input: { mode: "text2video", text: "Welcome to Comfy Cloud.", video_id: "kling-video-6f5e4d3c2b1a", voice_id: "genshin_vindi2", voice_language: "en", voice_speed: 1, }, }); console.log("requestId:", handle.requestId); // 有了模型 ID,这就是另一进程所需的全部信息 // 轮询直到请求完成,按服务器给出的 Retry-After 时间等待。 for await (const update of handle.events()) { console.log(update.status, update.queuePosition); } // 与 models.run() 返回的结果相同。失败或已取消的请求会在此处 reject。 const result = await handle.get(); console.log(result.data);``bash cURL theme={null} # 1. 提交。Router 返回 201,以及 request_id、status_url、response_url 和 cancel_url。 curl https://api.comfy.org/v2/models/kling/videos-lip-sync/requests \ -H "X-API-Key: $COMFY_API_KEY" \ -H "Idempotency-Key: $(uuidgen)" \ -H "Content-Type: application/json" \ -d "{\"input\": {\"mode\":\"text2video\",\"text\":\"Welcome to Comfy Cloud.\",\"video_id\":\"kling-video-6f5e4d3c2b1a\",\"voice_id\":\"genshin_vindi2\",\"voice_language\":\"en\",\"voice_speed\":1}}" # 2. 轮询直到状态为 COMPLETED,按每个响应中给出的 Retry-After 秒数等待。 REQUEST_ID="<request_id from the 201 body>" curl -i https://api.comfy.org/v2/models/kling/videos-lip-sync/requests/$REQUEST_ID/status \ -H "X-API-Key: $COMFY_API_KEY" # 3. 收集。返回 200 及模型的原始输出;仍在运行时返回 202 及状态响应体。 curl https://api.comfy.org/v2/models/kling/videos-lip-sync/requests/$REQUEST_ID \ -H "X-API-Key: $COMFY_API_KEY"``
Schema
输入
callback\_url string (uri)
回调通知地址。任务状态发生变化时,服务器会发出通知。此项会被忽略:comfy-api 在转发前会丢弃该字段;由 Comfy Router 代你轮询。
格式:uri
input object required
input.audio\_file string
音频文件的本地路径。支持的格式:.mp3/.wav/.m4a/.aac,最大文件大小为 5MB。Base64 编码。
input.audio\_type string
用于对口型的音频文件传输方法。当 mode 为 audio2video 时必填。
可选值:file、url
input.audio\_url string
音频文件下载 URL。支持的格式:.mp3/.wav/.m4a/.aac,最大文件大小为 5MB。
input.mode string required
视频生成模式。text2video:文生视频生成模式;audio2video:音频生视频生成模式
可选值:text2video、audio2video
input.text string
用于对口型视频生成的文本内容。当 mode 为 text2video 时必填。最大长度为 120 个字符。
input.video\_id string
由 Kling AI 已生成视频的 ID。仅支持最近 30 天内已生成的 5 秒和 10 秒视频。
input.video\_url string
获取上传视频的链接。视频文件支持 .mp4/.mov,文件大小不超过 100MB,视频时长在 2-10 秒之间。
input.voice\_id string
音色 ID。当 mode 为 text2video 时必填。系统提供多种音色可供选择。
input.voice\_language string (default: "en")
音色语言,与音色 ID 相对应。
可选值:zh、en
input.voice\_speed number (default: 1)
语速。有效范围:0.8\~2.0,精确到小数点后一位。
范围:0.8 到 2
该文档根据 Router 在 GET /v2/models/kling/videos-lip-sync/openapi.json 提供的 schema 生成,也是请求到达提供商之前用于校验调用的同一份文档。
输出
code integer
错误码
data object
data.created\_at integer
任务创建时间,Unix 时间戳(毫秒)
data.final\_unit\_deduction string
任务的扣费单位
data.task\_id string
任务 ID
data.task\_info object
data.task\_info.external\_task\_id string
data.task\_result object
data.task\_result.videos object[]
data.task\_result.videos\[].duration string
视频总时长,单位为秒
data.task\_result.videos\[].id string
已生成视频的 ID
data.task\_result.videos\[].url string (uri)
已生成视频的 URL
格式:uri
data.task\_result.videos\[].watermark\_url string (uri)
已生成视频的带水印 URL,防盗链格式
格式:uri
data.task\_status string
任务状态
可选值:submitted、processing、succeed、failed
data.updated\_at integer
任务更新时间,Unix 时间戳(毫秒)
message string
报错信息
request\_id string
请求 ID
示例
输入
{
"input": {
"mode": "text2video",
"text": "Welcome to Comfy Cloud.",
"video_id": "kling-video-6f5e4d3c2b1a",
"voice_id": "genshin_vindi2",
"voice_language": "en",
"voice_speed": 1
}
}
输出
{
"code": 0,
"data": {
"created_at": 1798761600000,
"final_unit_deduction": "1.00",
"task_id": "kling-lip-sync-task-4f3e2d1c0b9a",
"task_result": {
"videos": [
{
"duration": "8",
"id": "kling-video-9a8b7c6d5e4f",
"url": "https://example.invalid/kling/videos-lip-sync/generated.mp4"
}
]
},
"task_status": "succeed",
"updated_at": 1798761780000
},
"message": "SUCCEED",
"request_id": "5e0a9b17-6d3c-42f8-91b4-7a2c8d6e0f35"
}
发布前须知
SDK 会生成 Idempotency-Key 并在自动重试中复用它。手动重试时,请复用原始 key。Router 最长可保持连接 10 分钟。
请求失败时,Router 会发送 X-Comfy-Error-Type 响应头说明原因。422 表示 Router 在调用提供商之前就拒绝了输入,413 表示请求体超出了 Router 可接受的大小。已生成的资源请及时下载,因为结果 URL 会过期。
上文任何字段描述中提到的尺寸限制,都是提供商对该字段自身的限定,引自提供商的规范。Router 会对整个请求体另行设置上限,base64 编码的媒体内容也计入其中:参见请求体大小。
本页记录的是通过 Comfy Router 调用的某一个合作伙伴模型。同一个 comfy-sdk / @comfyorg/sdk 包还提供第二个客户端,用于在 Comfy Cloud 上运行完整的 ComfyUI 工作流图:Comfy(api_key=...) / new Comfy({ apiKey }),并带有 client.workflows、client.assets 和 client.jobs。请参阅 Comfy SDKs。
[card] 请求头 身份验证、幂等性、请求 ID、错误分类、重试节奏、消费限额。
[card] 使用 Router API 模型发现、验证错误、重试与计费。
[card] 限制 Router 目前不支持的功能,以及替代方案。