AZURE AI SPEECH | Real-time & Custom Speech

Real-time STT 与 Custom Speech：让会议现场听得清、转得准

面向会议系统，实时链路解决“正在开会的人能不能马上看到结果”，定制链路解决“专业词和复杂声学环境能不能识别准”。

实时会议链路：从麦克风到字幕/转写

实时路径包括标准 Speech STT 与独立的 MAI-Transcribe-2-Streaming；后者当前为 Public Preview。
1
音频输入来自会议室麦克风阵列、个人摄像头麦克风或移动设备音频流。
  • 端侧降噪和回声消除先改善输入质量
  • 按会议、电话、个人办公区分采集模式
2
两条实时路径标准 Speech STT 与 MAI-Transcribe-2-Streaming 都返回中间和最终文本，但能力配置不同。
  • 标准 STT：语言识别、时间戳、说话人能力按识别器/API配置
  • MAI Streaming：当前无 diarization 与词级时间戳
3
后处理增强Post-stream refinement 用后处理优化最终文本；多语言模式按 Preview 管理。
  • 支持范围按 locale 区分
  • 评估时使用同一录音做开启前后对比
4
会议输出字幕、转写、说话人、时间片进入后续摘要和企业知识流。
  • 实时字幕服务会议现场
  • 最终文本进入总结、问答和检索
MAI Streaming · Public Preview60 语言；官方模型页展示约 120ms 首个 partial、约 128ms 端到端（非 SLA）；服务区域：Sweden Central、Central US、East US 2、Southeast Asia。
接入与边界WebSocket /mai/v1/realtime 或 Speech SDK 1.52+；当前无风格、词级时间戳、biasing、diarization。
效果验证与标准实时 STT 用同一真实会议流对比准确率、首字时延、语言切换和弱网恢复。

Custom Speech：解决专有词和行业场景最后一公里

对于会议系统，客户名、产品名、人名、行业术语和中英文混说，往往决定会议记录的可信度。
专有词识别对照示例 Custom Speech 可用声学、语言和发音数据做场景适配；实际方案仍应以真实会议录音上的 WER / CER 与错误类型验证。
标准名称 通用 ASR 结果 Custom Speech 结果
星尘厚乳拿铁星辰厚乳拿铁星尘厚乳拿铁
岩韵大红袍盐运大红袍岩韵大红袍
青提青柑冰青提青干冰青提青柑冰
轻芝红茶椰青青汁红茶椰青轻芝红茶椰青
荔荔兰香粒粒兰香荔荔兰香
富桂酒酿芋圆富贵酒酿芋圆富桂酒酿芋圆
桃桃气泡饮淘淘气泡饮桃桃气泡饮
鲜气杨梅手摇冰茶仙气杨梅手摇冰茶鲜气杨梅手摇冰茶
桃喜奶乌讨喜奶屋桃喜奶乌
三拼霸霸奶茶三拼爸爸奶茶三拼霸霸奶茶
会议室噪声用会议室真实录音验证声学条件，决定是否需要定制模型。
术语适配Phrase list 提供无需训练的运行时提示；Custom Speech 训练并部署定制模型。按错误类型、语言、收益和维护成本选择，必要时组合。
产品体验识别错误会传递到摘要、问答和行动项，应做端到端回归验证。