ACE-Step 1.5：ComfyUI 本地 AI 音乐生成

使用 ACE-Step 1.5 在 ComfyUI 中本地生成完整歌曲，这个开源音乐模型可将文本描述和可选歌词转换为音频。

ACE-Step 1.5 是 ACE Studio 与 StepFun 联合推出的开源音乐生成模型，可以根据一段文字描述和可选歌词生成完整歌曲。ComfyUI 已原生支持该模型，你可以在本地生成从 10 秒片段到数分钟的完整曲目。

模型的核心是语言模型规划器与 Diffusion Transformer（DiT）音频解码器的组合。规划器把简单的输入扩展成完整的歌曲蓝图，通过思维链推理生成结构、元数据、歌词和描述，再由 DiT 渲染音频。对齐过程依靠模型自身的内部机制，不依赖外部奖励模型或人工偏好数据。

生成速度足以支撑交互式创作：在 A100 上整首歌只需不到 2 秒，在 RTX 3090 上不到 10 秒。显存占用不到 4 GB 的配置只运行 DiT，语言模型规划器处于关闭状态。用少量歌曲训练 LoRA 即可获得自己的风格。

[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到，可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失，可能原因有： > > 1. 你用的不是最新版（每夜版）。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以，如果你发现本文档中有任何核心节点缺失，可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。

模型亮点：

• 商业级质量：质量超过大多数商业音乐模型，音乐连贯性得分 4.72
• 生成速度快：A100 上整首歌不到 2 秒，RTX 3090 上不到 10 秒
• 长音频输出：时长支持 10 秒到 10 分钟
• 50 多种语言：良好支持英语、中文、日语、韩语、西班牙语、德语、法语、葡萄牙语、意大利语和俄语
• LoRA 微调：在 ComfyUI 中通过 LoRA 训练实现轻量化个性化

选项 1：一体化 Checkpoint（推荐）

AIO 版本将所有模型打包成单个 checkpoint 文件，更易于下载和管理。

AIO 工作流

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开

[card] 下载工作流 下载 JSON，或在模板库中搜索 "ACE-Step 1.5 Music Generation AIO"

AIO 模型下载

[card] ace\_step\_1.5\_turbo\_aio.safetensors 一体化 checkpoint 文件（推荐大多数用户使用）。

AIO 模型存储位置

📂 ComfyUI/
├── 📂 models/
│   └── 📂 checkpoints/
│       └── ace_step_1.5_turbo_aio.safetensors

选项 2：分离模型文件

分离版本允许你单独下载各个模型组件。

分离模型工作流

[card] 在 Comfy Cloud 上运行 在 Comfy Cloud 中打开

[card] 下载工作流 下载 JSON，或在模板库中搜索 "ACE-Step 1.5 Music Generation Workflow"

分离模型下载

[card] acestep\_v1.5\_turbo.safetensors 扩散模型。

[card] qwen\_0.6b\_ace15.safetensors 文本编码器 (0.6B)。

[card] qwen\_1.7b\_ace15.safetensors 文本编码器 (1.7B)。

[card] ace\_1.5\_vae.safetensors VAE 模型。

分离模型存储位置

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── acestep_v1.5_turbo.safetensors
│   ├── 📂 text_encoders/
│   │   ├── qwen_0.6b_ace15.safetensors
│   │   └── qwen_1.7b_ace15.safetensors
│   └── 📂 vae/
│       └── ace_1.5_vae.safetensors

ACE-Step 1.5 在 ComfyUI 中的主要特性

思维链规划

ACE-Step 1.5 模型通过思维链推理综合元数据、歌词和描述来指导扩散过程，从而产生更连贯的长篇作品。

混合 LM + DiT 架构

ACE-Step 1.5 结合了规划歌曲结构的语言模型和处理音频合成的扩散 Transformer (DiT)，全部在 ComfyUI 中原生运行。

即将在 ComfyUI 中推出

这些功能在 ACE-Step 1.5 中可用，但尚未在 ComfyUI 中支持：

• 翻唱 (Cover)：将任何歌曲作为输入，配合新的提示词和歌词，模型将以完全不同的风格重新演绎曲目
• 重绘 (Repaint)：选择一个片段，仅重新生成该部分，模型会将其拼接回去，同时保持其他部分不变

ACE-Step 1.5 ComfyUI 相关资源

• 项目主页
• Hugging Face 模型
• GitHub 仓库
• 博客文章