數驅未來:宏杉科技智算中心AI存儲解決方案

AI作為引領新一輪科技革命和產業變革的戰略性技術,正成為發展新質生產力的重要引擎。預計未來兩年,AI大模型將落地50%+行業場景,引領廣泛的智能化革命。數據作為AI產業鏈的基礎要素,其規模與質量直接決定了AI智算的廣度與深度。

數驅未來:宏杉科技智算中心AI存儲解決方案

在AI大模型的全生命周期中,包含4個關鍵環節:

  • 數據歸集:數據採集方式多樣,需兼容NFS、SMB、S3等多種存儲協議,構建超大容量、靈活適應的“數據倉庫”。
  • 數據預處理:針對數據在此階段的複雜性與無序性,需構建可靈活應對混合IO負載與多變讀寫模式的存儲架構。
  • 模型訓練:需高效加載數據至GPU進行計算,對存儲性能有嚴格要求(高IOPS、高帶寬、低延遲),以確保訓練過程的流暢與高效。
  • 推理應用:需快速加載海量模型文件,單個文件大小在幾十GB至上百GB不等。若同時啟動數十個推理業務,整體數據量將達幾十至上百TB,對讀取效率提出較高要求。

 數驅未來:宏杉科技智算中心AI存儲解決方案
在整個流程中,模型訓練是最重要的一環,對存儲系統性能要求極高。為確保訓練任務如期完成,實現訓練數據快速加載、GPU無等待、Checkpoint(AI大模型訓練過程中定期保存的模型狀態快照)快速保存與恢復的目標,通常需要存儲系統提供數百GB/s的帶寬,以及千萬級的IOPS處理能力。

以自然語言處理(NLP)在大型預訓練語言模型GPT3中的Checkpoint保存場景為例,175B的參數規模,其Checkpoint文件達3TB左右,若要在30s內完成Checkpoint文件的保存,其寫帶寬需達到100GB/s。為此,亟需構建高性能、高可擴展性的數據存儲底座,以支撐AI大模型的核心業務流程。

憑藉在數據存儲領域十餘年的創新與積澱,宏杉科技精耕細作,以MC27000-MOFS高性能分布式並行存儲系統與MacroDisk智能盤櫃為核心,打造智算中心AI存儲解決方案,為AI大模型的精研之路奠定堅實基礎。該產品採用INTEL Xeon 6430處理器,以滿足客戶的高性價比要求。它們為最終客戶提供高級功能,例如“熱數據和冷數據的分層存儲”和災難恢復等數據中心服務。

MC27000-MOFS高性能分布式並行存儲提供高效運行引擎:

數據歸集和預處理階段,MOFS系統可構建基於傳統HDD硬盤的海量數據資源池,支持NFS/CIFS/HDFS協議互訪與多節點並發讀寫,極大地加速了數據的導入與處理。其單集群單文件系統容量可達1000PB,文件數量達千億級,充分滿足AI智算對海量數據的處理需求。


數驅未來:宏杉科技智算中心AI存儲解決方案

在模型訓練和推理階段,MOFS系統可提供全NVMe介質的高性能資源池,通過部署增強型客戶端,並融合客戶端切片、MPI-IO、RDMA網絡、小文件聚合等先進技術,系統單節點混合讀寫性能可達30GB/s以上,實現了數據的高效處理與流暢傳輸。

MacroDisk智能盤櫃打造穩定存儲底座:

當前,Lustre/GPFS等並行文件系統已被廣泛應用於AI訓練流程之中,成為驅動AI智算發展的關鍵力量。然而,Lustre的多個數據存儲單元(OSS)並未自帶數據保護功能,當一個客戶端或節點發生故障時,其中的數據在重新啟動前將不可訪問。因此,存算分離是此架構下提升系統整體可靠性的關鍵路徑。

在Lustre/GPFS並行文件系統+集中式存儲的整體架構下,宏杉科技以MacroDisk智能盤櫃為關鍵硬體支撐,面向HPC、AI等場景,無縫對接客戶Lustre/GPFS等原有並行文件系統,為AI訓練構建了極致性能、極致可靠的存儲資源池。
數驅未來:宏杉科技智算中心AI存儲解決方案

MacroDisk支持NVMe over ROCE+INOF、NVMe over FC兩種高速數據傳輸方式,單套設備即可提供200W  IOPS、80GB/s帶寬;採用雙控制器Active-Active架構,確保數據的高效讀寫及訪問;集成磁盤監測、慢盤檢測、磁盤診斷等功能,實現對磁盤健康狀況的實時監控與精準維護;引入CRAID3.0技術,採用22+3或者23+2的比例進行數據硬盤和校驗硬盤的配置,在保障數據安全的同時,實現高達92%的空間利用率,為AI智算中心的穩定運行與未來發展提供了強有力的支撐。

隨著國家政策的持續推動與技術趨勢的加速演進,AI智算正邁向更加高效、智能、安全的新紀元。作為一站式數據存儲專家,宏杉科技將緊跟行業發展脈搏,以數賦智,用更多前沿創新方案助力AI產業“新藍海”的開拓。

★博文內容均由個人提供,與平台無關,如有違法或侵權,請與網站管理員聯繫。

★文明上網,請理性發言。內容一周內被舉報5次,發文人進小黑屋喔~

參考來源

宏杉科技: https://www.macrosan.com/AboutUs/News/CompanyNews/1780.html

評論