当地时间 10 月 1 日,微软 MAI(Microsoft AI)发布了三款语音模型:首个流式转写模型 MAI-Transcribe-2-Streaming,以及两款语音合成模型 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash。按微软官方博客的说法,这套组合的目标只有一个——让「听得清、说得快」的会话式语音 Agent 不再需要拿准确率或成本做交换。
对做实时语音产品的开发者来说,这是一条值得盯紧的新闻:过去一年语音 Agent 的最大瓶颈不在大模型推理,而在音频两端——转写等用户说完、合成等文本凑齐,一来一回几百毫秒,对话的「活人感」就没了。微软这次的打法就是同时压缩两端延迟。
一、发布事实速览:一张表看懂三款模型
| 项目 | MAI-Transcribe-2-Streaming | MAI-Voice-2.1 | MAI-Voice-2.1-Flash |
|---|---|---|---|
| 能力 | 流式语音转写(STT) | 语音合成(TTS) | 语音合成(TTS,高并发低延迟版) |
| 语言 | 60 种,自动连续语种检测 | 23 种语言 / 26 个地区口音 | 同左 |
| 关键指标 | 最终 WER 2.5%,partials 首包 100ms+,出终稿 0.13s | 单一声音跨语言保持同一说话人音色 | 最长 45 秒音频,端到端延迟 150ms |
| 定价(入门期至年底) | $0.54 / 音频小时 | $22 / 百万字符 | $15 / 百万字符 |
| 接入渠道 | Foundry、MAI Playground、Vercel、Azure Voice Live | 同上 + OpenRouter | 同上 + OpenRouter |
三个渠道信息值得记住:Foundry / MAI Playground / Vercel / Azure Voice Live 都有全部三款;Voice 两款额外上了 OpenRouter,方便已经在用统一网关的团队零改造切换;LiveKit 官方标注 coming soon——做电话、会议类场景的可以先等它。
二、Transcribe-2-Streaming 厉害在哪:不是「快一点」,是换了工作方式
传统转写是批处理思维:音频攒够一段(或整段说完)再送模型,等它返回整句文本。流式转写则是边说边出:模型先给出临时的中间结果(partials,可能随着更多上下文到达而被修订),等语义稳定后提交终稿(final)。
微软这次公布的三个数字,正好构成流式转写的完整体验曲线:
- 首包 100 毫秒出头:说话人刚开口,屏幕上就开始出字——这是字幕、听写类产品的体感来源;
- 2.5% 最终词错误率 / 2.8% partials 错误率(Artificial Analysis 流式榜,2026-09-28 数据):中间结果和终稿几乎一样准,意味着你可以放心地拿 partials 直接驱动下游逻辑,而不用等 final;
- 语音结束后 0.13 秒出终稿:真正影响「我说完它多久能接话」的指标。
在 Artificial Analysis 的准确率-延迟坐标系里,微软称该模型处在帕累托前沿——准确率更高不需要用明显更高的延迟换。官方内部评测还有个直观说法:实时听写和字幕场景下,文字出现的速度是「最接近的竞品」的两倍。注意这些目前是微软援引的榜单与自测数据,第三方复现还很少,选型时建议自己拿真实业务音频跑一轮对比。
三、接入实战一:流式转写的消费端怎么写
三款模型都在 Microsoft Foundry 上线,入口路径是:Foundry 控制台 → Model Catalog 搜「MAI-Transcribe-2」→ 部署后从模型卡片拿到你的终结点和密钥(Vercel 用户也可以直接走 Vercel AI Gateway 统一调用)。以下是消费端的通用骨架——核心心智是:把 partial 当进度条用,把 final 当地基用。
# 概念骨架:音频帧持续送入,partials 即时显示,finals 才入库/触发 Agent
# 具体 WebSocket/SSE 字段以 Foundry 模型卡片为准
async def on_message(msg):
if msg.type == "partial":
ui.render_live(msg.text) # 低延迟上屏,可被下一条覆盖
elif msg.type == "final":
ui.commit(msg.text) # 稳定文本,进入业务逻辑
agent.on_user_turn(msg.text) # 语音 Agent:说完前就可开始推理
# 麦克风侧:按 20ms 帧率采集,VAD 断句后 flush
mic.stream(frame_size=20, on_frame=ws.send)
三个工程要点:
- partial 会改,别让它进状态机。Partials 是会被修订的假设,只适合渲染层;触发工具调用、写库、计费等动作必须挂 final 事件,否则会基于错字执行。
- 客户端做一层防抖。100ms 级首包意味着 UI 更新会非常频繁,字幕类界面建议 80–120ms 合并刷新一次,否则闪烁感明显。
- 语种检测交给模型。60 语种 + 连续自动检测意味着混语对话(中文夹英文术语)不用自己做路由,但日志里记得记录检测到的语种,方便对账。
四、接入实战二:与 Voice-2.1-Flash 拼成完整语音回路
单有「耳朵」不构成产品,微软这次刻意把「嘴巴」一起发了。一个典型的低延迟语音 Agent 回路长这样:
用户语音 ──▶ Transcribe-2-Streaming(partials 提前驱动 Agent 推理)
│
▼
LLM 流式输出首个句子 ──▶ 句切分
│
▼
Voice-2.1-Flash(150ms 端到端,单段最长 45 秒)
│
▼
边合成边播放,被打断即取消后续段
Voice-2.1 的两个特性是这条路线的关键:单一声音跨 23 个语种保持同一说话人身份(多语助手不需要换「配音员」),以及几秒参考音频即可全语种克隆,且内置了同意校验护栏(consent guardrails)防止滥用。定价上 Voice-2.1-Flash($15/百万字符)比标准版($22)便宜约 32%,微软称推理速度快 55%——高并发场景直接选 Flash。
成本粗算一笔:入门期转写 $0.54/音频小时,一天跑满 8 小时客服热线约 $4.3/路;合成侧按正常语速每小时约 1 万字符,Flash 约 $0.15/小时。单路语音 Agent 一天音频两端合计不到 5 美元,这是这类产品第一次有了清晰的量产成本线。(入门价执行到 2026 年底,长期预算请按官网最新价目复核。)
五、微软官方 demo 值得先玩十分钟
这次发布附带了 MAI Playground 里的新 demo「Chatter」——一个由这三款模型驱动的实时语音助手。建议动手前先去对话十分钟:重点感受它在长句中途就开始回应的节奏,以及换语种时音色是否一致——这两个体感决定了你的产品该把 partials 用到多激进。
六、注意事项与常见问题
Q:和 9 月 3 日发布的非流式 MAI-Transcribe-2 是什么关系? 同一个家族的两代用法:非流式版($0.10/小时促销价)适合录音文件、会议纪要批处理;Streaming 版为实时交互而生,贵一些($0.54/小时)但换来 0.13 秒级出稿。两者按场景分工,不是替代关系。
Q:已经有 Whisper / Deepgram 的管线要迁移吗? 不必立刻。先按第四节算清你场景里「转写延迟」占端到端延迟的比例——如果你的 Agent 主要卡在 LLM 推理,换转写收益有限。增量做法:Foundry 上并行部署,用 5% 真实流量做 A/B,对比 WER 和打断响应时间。
Q:语音克隆的合规风险? Voice 系列克隆需要参考音频并内置同意校验,但把克隆音色用在产品里仍需获得本人明确授权并在产品中做 AI 语音标识——各地监管(包括国内《生成式人工智能服务管理暂行办法》对标识的要求)都在收紧,别省这一步。
七、小结
微软这一天放出的其实是同一个等式的两边:Transcribe-2-Streaming 把「听懂」压进 100 毫秒级,Voice-2.1-Flash 把「说出」压进 150 毫秒,中间留给大模型的决策窗口因此宽了一大截。对语音 Agent 开发者,行动清单很短:去 MAI Playground 玩 Chatter 建立体感 → Foundry 部署 Streaming 版跑通 partials/final 双通道 → 按业务流量 A/B 验证 WER 与延迟 → 年底入门价窗口内算清长期成本。语音 Agent 的「电话感」时代,大概率就从这批模型开始。
