影片 5台Mac Studio組成的AI超級電腦集群

Summary​

我建立了一個由5台Mac Studio組成的AI超級電腦集群,目的是運行最大和最強大的AI模型,如llama 3.1405 B模型。雖然單台Mac Studio已經可以運行較小的AI模型,但要運行更大的模型需要更多的計算資源。我使用了XO Labs軟體來連接和管理這個5台Mac Studio的集群,並嘗試運行了不同大小的AI模型。過程中遇到了網路頻寬瓶頸的問題,但最終還是成功運行了llama 3.1405 B這個巨大的AI模型。此外,我還測試了使用Thunderbolt連接集群的效果,以及將XO Labs與Fabric專案整合的方式。

Highlights​

我使用了5台M2 Ultra Mac Studio,每台64GB統一記憶體,組成一個AI計算集群 為了連接這5台Mac,我使用了10Gbps以太網交換機,但頻寬仍然是一個瓶頸 我測試了使用Thunderbolt連接集群,可以提高頻寬,但仍有一些限制 我成功運行了llama 3.1405 B這個405億參數的巨大AI模型,雖然速度較慢,但展現了Mac Studio的強大潛力 我將XO Labs與Fabric專案整合,可以更方便地使用XO Labs提供的API

 

Q: 為什麼作者要建立一個由五台 Mac Studio 組成的 AI 集群?​

A: 作者想要運行最大和最強大的 AI 模型,因此他決定將五台 Mac Studio 連接起來形成一個超級強大的 AI 集群。這個集群可以運行像是 LAMA 3.1405 B 這樣巨大的 AI 模型,通常需要由超級強大的雲端 AI 集群和昂貴的服務器才能運行。​

Q: 為什麼 Mac Studio 比 PC 更適合運行 AI 模型?​

A: Mac Studio 擁有統一記憶體架構,可以讓 GPU 直接訪問系統記憶體,這比傳統 PC 的獨立 GPU 記憶體更有效率。此外,Mac Studio 的功耗也比同等性能的 PC 更低,這使其更適合運行 AI 模型。​

Q: XO Labs 軟件如何幫助作者建立 AI 集群?​

A: XO Labs 軟件可以讓使用者將各種不同的電腦硬件(如 Raspberry Pi、筆記本電腦或高性能遊戲 PC)連接起來,組成一個 AI 集群。這個集群可以共享資源來運行 AI 模型,XO Labs 可以自動發現並連接集群中的節點,使得建立 AI 集群變得非常簡單。​

Q: 作者能否成功在五台 Mac Studio 上運行 LAMA 4.0.5B 這個巨大的 AI 模型?​

A: 雖然作者嘗試在五台 Mac Studio 上運行 LAMA 4.0.5B 這個 405 億參數的巨大 AI 模型,但由於網絡帶寬的限制,整體性能表現並不理想,每秒只能生成0.6個tokens。不過,使用 Thunderbolt 連接可以提升一些性能,但仍遠遠達不到理想狀態。​