一直以來，Pytorch 在 Mac 上僅支持使用 cpu 進行訓練。就在剛剛，Pytorch 官方宣布，其最新版 v1.12 可以支持 GPU 加速了。只要是搭載了 M1 系列芯片的 Mac 都行。

這也就意味著在 Mac 本機用 Pytorch“煉丹”會更方便了！

訓練速度可提升約 7 倍

此功能由 Pytorch 與 Apple 的 Metal 工程團隊合作推出。它使用 Apple 的 Metal Performance Shaders (MPS) 作為 PyTorch 的后端來啟用 GPU 加速訓練。

為了優(yōu)化計算性能，MPS 還針對 Metal GPU 系列的獨特特性對每個內核進行了微調。

Metal 是一個類似 OpenGL 的框架，只不過 OpenGL 適用于各平臺的移動端 GPU 渲染和計算，Metal 專用于 iOS / macos 平臺，不過也兼顧了性能和易用性。

MPS 就是一套基于 Metal 框架的庫，直接調用即可使用 GPU 的高性能進行圖形處理、構建卷積神經(jīng)網(wǎng)絡等工作。

蘋果官方在搭載了 M1 Ultra、20 核 CPU、64 核 GPU、128GB RAM 和 2TB SSD 的 Mac Studio 上進行了測試。（這陣容差不多能算是豪華配置了）。

他們分別訓練了 batch size 為 128 的 ResNet50、batch size 為 64 的 HuggingFace BERT，以及 batch size=64 的 VGG16。

從下圖中我們可以發(fā)現(xiàn)，相比使用 cpu 加速，使用 GPU 可將模型訓練速度提高約 7 倍，評估（evaluATIon）速度則最高能提約 20 倍。

看到這兒，有網(wǎng)友開始好奇它與搭載了 Nvidia GPU 的 laptop 相比性能如何。

有人表示，雖說目前 M1 的原始計算性能比不上英偉達的產(chǎn)品，但功耗方面還不錯。未來蘋果很有可能慢慢追上性能。總的來說，Mac Studio 現(xiàn)在看起來實在太香了。

他進一步解釋道：“畢竟它是你花 4800 美元就能買到的最便宜、包含 128GB GPU 內存的機器。現(xiàn)在有了基于 GPU 加速的 PyTorch 支持，完全可以用來訓練大模型、配置大的 batch size。對于我所做的那種 DL 工作，數(shù)據(jù)加載比實際的原始計算能力更容易成為瓶頸。”

你心動了嗎？現(xiàn)在就試試？

只需保證你的 macos 操作系統(tǒng)在 12.3 版本及以上，且安裝了 arm64 原生 Python，然后去官網(wǎng)下載最新的 Pytorch 預覽版就可以了。

地址：https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/

更多精彩內容敬請關注UC電腦園！