AIFlowTime 最新文章列表
新工具更新

· TorchNeuron · PyTorch · Trainium · AWS

TorchNeuron:同一套 PyTorch 跑 Trainium

AWS 與 PyTorch 團隊宣布 TorchNeuron,讓既有 PyTorch 程式以單一裝置設定在 Trainium2 與 Trainium3 上執行,不必重寫。公開測試版排定 2026 年 10 月 20 日上線,並計畫以 Apache 2.0 開源。截至撰稿時官方標示的 GitHub 路徑仍無法開啟。

PyTorch 官方部落格 TorchNeuron 文章分享圖
圖片來源:PyTorch

改一個設定就換晶片

AWS 與 PyTorch 團隊在 2026 年 10 月 19 日宣布 TorchNeuron:把 AWS Trainium 註冊成標準的 PyTorch 裝置後端。官方說法是,開發者把裝置指到 Trainium,既有模型程式、函式庫與工具就能在上面跑,不必為了換晶片重寫一整套程式。

Amazon 的文章用「換引擎不必拆車」來比喻:同一份訓練腳本,在常見晶片與 Trainium 上並排示範時,差別只在告訴程式要用哪顆晶片。PyTorch 部落格說明,這是建在社群做好的加速器無關擴充點上,包括 PrivateUse1 裝置後端與 torch.accelerator API。

開發者在筆電前把兩塊拼圖拼在一起,代表同一套程式接到新硬體
AI 生成圖片

支援哪些執行方式

依 PyTorch 官方文章,TorchNeuron 支援:

能力 官方說明
Eager 執行 研究與除錯用,含效能改進的 adaptive eager
torch.compile 用於正式環境的效能
自訂運算核心 透過 NKI(Neuron Kernel Interface)撰寫
硬體世代 Trainium2 與 Trainium3
分析工具 沿用 torch.profiler,並可對應到 Neuron 執行追蹤

Hugging Face、TorchTitan、vLLM 等生態也出現在官方說明中,作為已在或正在接上 Trainium 的路徑。Deepgram 在官方引言中提到,在他們評估的基準上,Trainium 每美元處理的音訊秒數約比既有 GPU 基準高 60%;此數字為客戶自述、經官方轉載。

三格圖:即時實驗、打包編譯、以工具打造自訂小磚塊
AI 生成圖片

何時能拿到、開源狀態

PyTorch 文章寫明:TorchNeuron 計畫在 2026 年 10 月 20 日以公開測試版上線,並以 Apache 2.0 授權開源,標示的路徑是 github.com/aws-neuron/torch-neuronx;安裝方式預計是從 AWS Neuron 的 pip 來源執行 pip install torch-neuronx。Amazon 文章同樣把開源時點定在 PyTorch Conference North America 的 10 月 20 日。

我們在撰稿時再次檢查該 GitHub 網址,仍回傳 404,因此現在還不能 clone,也還沒有可核對的 LICENSE 檔。開源與公開測試版都是「排定於 10 月 20 日」的官方計畫,實際是否準時上線要以當天的 GitHub 與 pip 為準。

官方也提到會用大量 Hugging Face 模型做相容性掃描(例如持續跑約 10 萬個模型);這類通過率屬官方自報的內部測試結果。

日曆圈出即將到來的日子,禮物盒尚未打開,有人在旁等候
AI 生成圖片
想成為 AI 高手?即刻搵 Jacob
看更多最新文章