2023年7月14日，華為發(fā)布大模型時代AI存儲新品，為基礎模型訓練、行業(yè)模型訓練、細分場景模型訓練推理提供存儲解決方案，助力釋放AI新動能。
數(shù)據(jù)決定智能的高度，數(shù)據(jù)存儲當作先鋒
從互聯(lián)網到移動化，從云計算到智能化，每一輪技術變革都為千行百業(yè)帶來深遠影響。而從通用大模型到行業(yè)大模型，AI大模型的持續(xù)迭代也將助推新一輪的科技革命。在從0到1構建AI大模型創(chuàng)新應用的同時，企業(yè)應該找到適配自身發(fā)展需求的數(shù)據(jù)底座，將數(shù)據(jù)存儲建設作為AI建設的下一個加速點。
當前，企業(yè)在開發(fā)及實施大模型應用過程中，面臨四大挑戰(zhàn)：
第一，數(shù)據(jù)準備時間長，數(shù)據(jù)來源分散，歸集慢，預處理百TB級數(shù)據(jù)需10天左右；第二，多模態(tài)大模型以海量文本、圖片為訓練集，當前海量小文件的加載速度不足100MB/s，訓練集加載效率低；第三，大模型參數(shù)頻繁調優(yōu)，訓練平臺不穩(wěn)定，平均約2天將出現(xiàn)一次訓練中斷，需要Checkpoints機制恢復訓練，故障恢復耗時超過一天；第四，大模型實施門檻高，系統(tǒng)搭建繁雜，資源調度難，圖形處理器（GPU）資源利用率通常不到40%。
構建數(shù)據(jù)新范式，釋放AI新動能
作為數(shù)據(jù)的載體，數(shù)據(jù)存儲成為AI大模型的關鍵基礎設施。順應AI發(fā)展趨勢，針對不同行業(yè)、不同場景大模型應用，華為推出OceanStorA310深度學習數(shù)據(jù)湖存儲與FusionCubeA3000訓/推超融合一體機，幫助解決企業(yè)開發(fā)及實施大模型應用難題。
OceanStorA310深度學習數(shù)據(jù)湖存儲，面向基礎/行業(yè)大模型數(shù)據(jù)湖場景，實現(xiàn)從數(shù)據(jù)歸集、預處理到模型訓練、推理應用的AI全流程海量數(shù)據(jù)管理。OceanStorA310單框5U支持400GB/s帶寬以及1200萬IOPS的性能，可線性擴展至4096節(jié)點，實現(xiàn)多協(xié)議無損互通。全局文件系統(tǒng)GFS實現(xiàn)跨地域智能數(shù)據(jù)編織，簡化數(shù)據(jù)歸集流程；通過近存計算實現(xiàn)近數(shù)據(jù)預處理，減少數(shù)據(jù)搬移，預處理效率可提升30%。
FusionCubeA3000訓/推超融合一體機，面向行業(yè)大模型訓練/推理場景，針對百億級模型應用，集成OceanStorA300高性能存儲節(jié)點、訓/推節(jié)點、交換設備、AI平臺軟件與管理運維軟件，為大模型伙伴提供全方位的部署體驗，實現(xiàn)一站式交付。開箱即用，2小時內即可完成部署。訓/推節(jié)點與存儲節(jié)點均可獨立水平擴展，以匹配不同規(guī)模的模型需求。同時，F(xiàn)usionCubeA3000通過高性能容器實現(xiàn)多個模型訓練推理任務共享GPU，將資源利用率從40%提升到70%以上。FusionCubeA3000支持兩種靈活的商業(yè)模式，包括華為昇騰一站式方案以及開放計算、網絡、AI平臺軟件的第三方伙伴一站式方案。
合作開放，推動“產學研”同頻共振
本次發(fā)布會上，華為數(shù)據(jù)存儲產品線總裁周躍峰博士對話華為蘇黎世研究所存儲首席科學家張霽，就數(shù)據(jù)安全流轉、企業(yè)數(shù)據(jù)接入大模型等話題展開探討。張霽是華為眾多新生代技術青年的代表，還有更多的華為員工在遍布全球的研究所開展前沿研究，一起挑戰(zhàn)難題、創(chuàng)造價值、推動科技發(fā)展。
截至目前，華為數(shù)據(jù)存儲在全球擁有12個研發(fā)中心、4000多名研發(fā)人員、3000多項專利授權，并且與超過25所中國高校、30所海外高校建立合作關系，并成立8個聯(lián)合實驗室。華為自2019年起設置奧林帕斯獎，以激勵全球科研工作者，突破存儲領域關鍵技術難題。到2023年，已有多位來自全球頂尖高校與科研機構的專家獲獎，他們在存儲創(chuàng)新架構、創(chuàng)新算法等課題上取得了技術性突破，加速了科研成果產業(yè)化，實現(xiàn)產學研合作共贏。
在本次發(fā)布會上，中國科學院自動化研究所紫東太初大模型中心、武漢人工智能研究院的專家及科大訊飛、智譜AI等企業(yè)相關負責人分別就AI大模型的應用實踐以及基于華為AI存儲的聯(lián)合創(chuàng)新進行探討，并對未來同華為在數(shù)據(jù)存儲領域的合作進行展望。
數(shù)據(jù)來源：華為
