AI 數據中心需要什麼？GPU、電力及冷卻要求完整指南
部落格 / AI 數據中心需要什麼？GPU、電力及冷卻要求完整指南
生成式人工智能（AI）及大型語言模型（LLM）快速發展，令企業 IT 基礎設施面對超出傳統運作範圍的運算需求。以往為網站託管及雲端工作負載而設的傳統數據中心，已難以應付現代機器學習所需的運算能力。
了解現今關鍵的 AI 數據中心要求，不再只是 IT 部門需要考慮的事項，更是企業保持競爭力的重要策略。從高密度運算能力到大幅增加的電力需求，要支援人工智能，數據中心的核心設計需要全面轉型。本指南將深入介紹 AI 數據中心的 GPU 要求、推動電力需求增加的主要因素，以及滿足 AI 數據中心冷卻需求所需的冷卻方案。
人工智能數據中心的演變
傳統數據中心主要處理較為穩定的工作負載，一般機櫃的平均功率密度約為 5 kW 至 10 kW。相比之下，AI 訓練及推理叢集需要大量平行運算能力，令每個機櫃的功率密度由 30 kW 提升至超過 100 kW。
AI 訓練需要透過神經網絡處理大量數據集，而相關模型通常包含數十億個參數。這種轉變要求運算、電力分配、散熱系統及網絡架構協同運作，以避免出現性能瓶頸。
AI 數據中心的核心 GPU 要求及硬件架構
轉向高效能運算需要重新思考底層基礎設施。數據中心需要由一般電腦轉向支援高密度、互相連接的運算硬件。
高密度 GPU 叢集及運算節點
要滿足現代 AI 數據中心的 GPU 要求，不只是安裝高效能加速器，更需要採用高密度伺服器配置，以支援在高負載下持續進行矩陣運算。
低延遲網絡及高頻寬連接
在分散式 AI 訓練期間，加速運算叢集需要持續進行數據通信。數據中心會採用 InfiniBand 及 RoCE（RDMA over Converged Ethernet）等超低延遲互連技術，每個節點可提供 400 Gbps 至 800 Gbps 的傳輸速度，以減少數據傳輸瓶頸。
應付大型 AI 數據集的儲存效能
大量數據處理需要高速輸入及輸出管道。AI-ready 儲存架構採用 All-Flash NVMe 架構，提供高吞吐量及平行處理能力，避免運算硬件因數據供應不足而無法充分發揮效能。
掌握 AI 數據中心的電力需求及能源效益
滿足 AI 數據中心的電力需求，需要從實體及電力系統規劃入手，確保高效能處理器可以穩定運作。
前所未有的kW 及MW 級功率密度需求
一般企業機櫃的功耗低於 10 kW，而高密度 AI 機櫃的功耗通常達到 40 kW 至 120+ kW。當 GPU 密集型叢集快速擴展，整個數據中心的總容量亦會迅速達到數兆瓦級。
冗餘、電力分配及電池備援（UPS）
穩定運作十分重要。在長達數星期的 AI 訓練過程中，如果電力中斷，可能導致運算結果遺失及檢查點損壞。因此，AI 數據中心需要可靠的 N+1 或 2N UPS 配置、高負載配電單元（PDU）及穩定的備援架構。
可持續能源策略及 PUE 優化
更高的電力消耗需要更加重視運作效率。現代數據中心可以透過整合可再生能源、動態負載平衡及針對性的電力管理，改善電力使用效率（Power Usage Effectiveness, PUE），從而控制營運成本及環境影響。
先進 AI 數據中心冷卻要求及熱管理
現代加速器消耗的幾乎所有電力最終都會轉化為熱能。因此，如何滿足 AI 數據中心的冷卻要求，已成為數據中心營運商的重要工作。
傳統氣冷的限制
當機櫃功率密度超過 30 kW 時，標準機房空調（CRAC）會變得較低效。單靠氣冷無法快速帶走高密度處理器晶片產生的大量熱能。
液冷技術創新：Direct-to-Chip 及浸沒式冷卻
為應付極高的熱負載，AI 數據中心正逐步採用液冷方案。液體的傳熱效率最高可達空氣的 3,000 倍：
- Direct-to-Chip (D2C) Cold Plate Cooling： 冷卻液會流經直接安裝於 GPU 及 CPU 上的冷板，從熱源位置直接帶走熱量。
- 浸沒式冷卻（Immersion Cooling）： 將伺服器組件完全浸入不導電的介電液體中，讓整個硬件系統都能有效散熱。
混合式熱管理策略及熱能回收
不少混合式數據中心會為高密度 AI 叢集採用液冷迴路，同時為傳統管理節點使用後門熱交換器（RDHx）或氣冷，以提升整體設施效率，並探索回收及再利用廢熱的可能性。
網絡互連、空間及結構規劃
除了核心電力及冷卻系統外，數據中心亦需要承受硬件的實體重量，並支援快速的外部網絡數據傳輸。
電訊商中立互連及生態系統接入
部署效率取決於能否快速連接雲端服務供應商、電訊商網絡及邊緣節點。數據中心需要採用電訊商中立的互連網絡，以高效處理數據輸入及模型分發。
空間佔用及結構承重能力
高密度伺服器機櫃及液冷系統會增加整體實體重量。為高效能運算而設的數據中心需要加強地板，以承受更高的結構負載，同時預留液冷管道歧管及大型 Busway 的安裝空間。
如何選擇 AI-ready 數據中心供應商？
自行建設高密度數據中心需要大量資本投入，部署時間亦較長。與專業數據中心託管服務供應商合作，可以讓企業更快部署，同時降低營運風險。
選擇數據中心合作夥伴時，可考慮以下主要條件：
- 高密度電力供應： 可擴展的基礎設施，支援每個機櫃 40 kW 至 100+ kW 的電力需求。
- 靈活的冷卻基礎設施： 同時支援高效氣冷及先進液冷方案的混合式配置。
- 高可靠性基礎設施： 採用經驗證的 N+1 或 2N 冗餘架構，並維持較低的 PUE。
- 直接連接雲端及網絡： 提供高吞吐量、低延遲的連接方案，接入全球雲端及網絡生態系統。
利用 OneAsia 的 AI-ready 解決方案打造面向未來的基礎設施
常見問題
1. 運行 AI 數據中心需要什麼？
高密度 GPU 運算節點、高容量電力基礎設施、先進液冷系統及超低延遲網絡。數據中心需要支援每個機櫃超過 40 kW 至 120+ kW 的電力負載，並採用 Direct-to-Chip 或浸沒式冷卻，以應付傳統氣冷無法處理的高熱密度。
2. AI 數據中心消耗多少電力？
每個機櫃的用電量約為傳統企業數據中心的 4 至 10 倍。單個高密度 AI 機櫃的功耗可達 40 kW 至 120+ kW，而大型 AI 訓練數據中心則可能需要數十至數百兆瓦的持續電網容量。
3. AI 數據中心冷卻需要使用多少水？
如果採用傳統蒸發式冷卻系統，每日用水量最高可達數百萬加侖。為減少用水量及環境影響，現代數據中心正逐步採用封閉式液冷技術及浸沒式冷卻系統，持續循環使用冷卻液，幾乎不會造成冷卻液損耗。
參考資料
- Cisco Blogs – Future-Proof Your Data Center for AI: A Checklist for Designing and Building AI Data Centers
- IEA – International Energy Agency – Energy demand from AI
- Uptime Intelligence – Uptime Institute Global Data Center Survey 2025
- ASHRAE – Equipment Thermal Guidelines for Data Processing Environments