AIFlowTime 最新文章列表
AI 模型發布

· Mistral · Voxtral 3 · 語音 AI · 語音 agent

Voxtral 3 語音模型登場

Mistral 發布 Voxtral 3:語音轉文字 Mini、Small 與即時版,文字轉語音 Voxtral Speech 3,加上建在 LiveKit 上的語音 agent SDK。轉錄支援 50 多種語言,可走 Mistral EU 託管 API 或自行部署。效能比較皆為官方自報。

Mistral 官方 Voxtral 3 公告主視覺
圖片來源:Mistral AI

聽、想、說、做一次到位

Mistral 推出 Voxtral 3,包含一組新的語音轉文字(STT)與文字轉語音(TTS)模型,以及一套語音 agent SDK,把「聽、推理、呼叫工具、說話」串成同一條即時串流管線。官方鎖定的場景是客服中心、服務台、虛擬助理與免手持 copilot。

官方列出這次的重點:

  • 轉錄:Voxtral Small Transcribe 3 支援 50 多種語言,可分辨誰在說話(diarization)、用關鍵詞提升準確度(context biasing),並偵測對方是否講完(end-of-turn detection)。
  • 語音合成:Voxtral Mini TTS 3 會依對話脈絡調整情緒、語速與重音,支援 35 種以上語言與 50 種以上方言。
  • Pro Voice:用約 30 分鐘音訊重現說話者的特色、情緒範圍與風格,並可跨語言使用。
  • 部署:可用 Mistral 的 EU 託管 API,或部署在自己的基礎設施,自行決定音訊是否保留。
Mistral 官方 Voxtral 3 公告主視覺
圖片來源:Mistral AI

轉錄:50 多種語言與 4B Mini

官方說 Voxtral Transcribe 3 支援的語言擴充到 50 多種,包含 24 種歐盟官方語言,以及多種資源較少的亞洲與印度語言。

  • Small:官方表示在多語轉錄與 diarization 達到最佳水準,勝過 Whisper、Scribe v2 與 Gemini 3.5 Transcribe(官方自報)。
  • Mini:參數量 4B,每分鐘 0.0035 美元。
  • Realtime Transcribe 3:為 agent 打造的即時轉錄,延遲低於 500 毫秒,支援 35 種以上語言,也有 diarization 與 context biasing。

兩款都能用 context biasing 放入專有名詞,不用微調就能提升技術詞彙的辨識。下圖是官方 FLEURS 45 種語言的字錯率比較(越低越好),屬於官方自行測試。

Mistral 官方 FLEURS 45 語言字錯率比較圖
圖片來源:Mistral AI 頁面截圖(2026-10-21)

語音合成會看語氣說話

Voxtral Mini TTS 3 有批次與即時兩種模式。官方主打表現力與指令遵循,可用 emotion、pacing、emphasis 等變數控制語氣,另有音素提示,讓罕見名字或自創詞念對。

價格是每 100 萬字元 13 美元;官方說成本低於 OpenAI TTS-1、Deepgram、ElevenLabs Flash 與 Gemini Flash 等同類模型。品質對價格的圖表為官方內部評測,評審模型是 gemini-3.8-flash,請當成廠商自報資料看待。

預設語音目前有 18 種語言,包括中文(普通話)、韓語、越南語與印地語等。

Mistral 官方 Voice Code Bench 品質對價格圖
圖片來源:Mistral AI 頁面截圖(2026-10-21)

語音 agent SDK 建在 LiveKit

新的語音 agent SDK 建在 LiveKit 上:Voxtral Mini Transcribe Realtime 3 負責聽並判斷對方講完,通用模型(例如 Mistral Small)負責推理與呼叫工具,Voxtral Speech 3 再用符合對話氣氛的語氣回覆。官方說各階段不必互相等待,每一輪回應可在 1 秒內完成,對方插話時 agent 會停下來。

通話中 agent 可以核對身分、查帳單、預約,支援 function calling、網路搜尋與檢索自家系統;電話走 SIP,瀏覽器與 App 走 WebRTC。每個階段是獨立模型,所以可以單獨換掉 LLM、聲音或語言。

Mistral 官方語音 agent SDK 說明段落截圖
圖片來源:Mistral AI 頁面截圖(2026-10-21)

價格與上手方式

Voxtral 3 已經可以透過 Mistral API 使用,有歐洲、美國與全球端點。官方價格如下:

模型/服務 官方價格
Voxtral Mini Transcribe 3(批次) 每分鐘 0.0035 美元
Voxtral Mini Transcribe Realtime 3 每分鐘 0.008 美元
Voxtral Small Transcribe 3 每分鐘 0.0040 美元
Voxtral Speech 3(批次與即時) 每 100 萬字元 13 美元
語音 agent API+Mistral Small 4 推理 每分鐘 0.04 美元
語音 agent API+其他推理模型 每分鐘 0.08 美元

要在自家機房或私有雲跑整套,官方請企業直接聯絡團隊。公告沒有說明模型權重是否公開,也沒有寫授權條款,本文不推論。

本文建議:做客服或預約電話的團隊,可以先用 API 試轉錄加 context biasing,把產品名、人名放進關鍵詞清單,再比較自己的錄音字錯率;官方圖表只能當參考。

Mistral 官方 Voxtral 3 價格表截圖
圖片來源:Mistral AI 頁面截圖(2026-10-21)
想成為 AI 高手?即刻搵 Jacob
看更多最新文章