通信界訊 近日，中國(guó)工程院院士鄭緯民在2023世界5G大會(huì)上表示，國(guó)產(chǎn)超算完全可以支持大模型訓(xùn)練。
鄭緯民介紹道，目前支持大模型訓(xùn)練的主要有三種算力系統(tǒng)，一是基于英偉達(dá)公司的GPU系統(tǒng)，二是基于國(guó)產(chǎn)AI芯片的系統(tǒng)，三是基于超級(jí)計(jì)算機(jī)的系統(tǒng)。英偉達(dá)GPU系統(tǒng)的優(yōu)點(diǎn)是硬件性能好，生態(tài)也比較完善，但中美博弈加上產(chǎn)品價(jià)格高，給國(guó)產(chǎn)AI芯片帶來(lái)了難得的發(fā)展機(jī)遇，目前國(guó)內(nèi)已經(jīng)有30多家公司推出了國(guó)產(chǎn)芯片，“但用戶(hù)不太喜歡用，核心問(wèn)題就是生態(tài)不好。”
而不依賴(lài)國(guó)外芯片技術(shù)改變國(guó)產(chǎn)大模型生態(tài)系統(tǒng)發(fā)展局面，編程框架、并行加速、通信庫(kù)、算子庫(kù)、AI編譯器、編程語(yǔ)言、調(diào)度器、內(nèi)存分配系統(tǒng)、容錯(cuò)系統(tǒng)、存儲(chǔ)系統(tǒng)這十大關(guān)鍵軟件技術(shù)值得重點(diǎn)投入。
“如果國(guó)產(chǎn)AI芯片硬件性能達(dá)到國(guó)外芯片的60%，大多數(shù)用戶(hù)也是可以滿(mǎn)意的，因?yàn)橛布俸眠@十個(gè)軟件做不好，也沒(méi)有市場(chǎng)。”鄭緯民說(shuō)道，一定要把這十個(gè)軟件做好，改變國(guó)產(chǎn)系統(tǒng)的生態(tài)。“如果把這些問(wèn)題解決好，國(guó)產(chǎn)AI卡也會(huì)大受歡迎。希望國(guó)內(nèi)廣大用戶(hù)盡可能采用國(guó)產(chǎn)AI芯片，以用促建，以用促研，不斷的給予正向反饋。”
目前，我國(guó)超算水平已經(jīng)處于國(guó)際第一梯隊(duì)，有14個(gè)國(guó)家一級(jí)超算中心，另外還有不少由地方和行業(yè)建設(shè)運(yùn)營(yíng)的超算中心。這些超算中心在科學(xué)計(jì)算上做得很不錯(cuò)，發(fā)揮了很大的作用，但是部分超算中心的算力利用率并不飽和，完全也可以用這些機(jī)器來(lái)做大模型訓(xùn)練，但需要從源頭做好軟硬件協(xié)同設(shè)計(jì)。
“硬件發(fā)展很快，過(guò)去一臺(tái)機(jī)器，基本是CPU+內(nèi)存+硬盤(pán)就可以，但是現(xiàn)在計(jì)算部件不只是簡(jiǎn)單的CPU，還有很多新的器件出現(xiàn)；軟件方面，不論是人工智能應(yīng)用軟件，還是基于圖數(shù)據(jù)的圖計(jì)算應(yīng)用，以及大數(shù)據(jù)應(yīng)用，軟件已和過(guò)去不一樣，如何將軟件和硬件更好協(xié)同起來(lái)非常重要。”
