首個高稀疏率AI計算卡S100在浪潮內(nèi)測 支持千億級別大模型

　　中國經(jīng)濟網(wǎng)北京7月8日訊（記者 王惠綿） 近日，墨芯人工智能首次發(fā)布SparseOne S100在浪潮服務器中的測試數(shù)據(jù)，S100是全球首個高稀疏率AI計算卡，運行多個AI主流模型，性能表現(xiàn)為國際大廠主流AI推理卡的6倍。

　　值得注意的是，這是墨芯首次披露S100運行能夠?qū)崿F(xiàn)單卡推理大模型，突破單卡難以滿足高算力需求的瓶頸，有效解決業(yè)界對大模型，普遍采取多機多卡分布式的方式，完成推理所帶來的時間長、功耗高、成本高等問題。

　　近年來新興的NLP模型——T5，曾被稱為“全新NLP SOTA預訓練模型”，以其高參數(shù)量，讓許多計算卡“望而卻步”。但在本次測試中，S100在單機單卡環(huán)境下就能運行T5-8B模型，算力高達141.8 SPS。

　　除了高算力的優(yōu)勢，相較于當前國際大廠主流推理卡單卡只能支持百億參數(shù)級別的模型，墨芯S100可以支持千億參數(shù)級別的模型。

　　在單機單卡環(huán)境，不影響精度的前提下，S100運行BERT模型，SST-2數(shù)據(jù)集，性能達12176 SPS；S100運行ResNet-50模型，ImageNet數(shù)據(jù)集，性能達28260 FPS。在主頻800 MHz的測試環(huán)境中，S100運行ResNet-50模型時算力達33197 FPS。浪潮內(nèi)測主頻為700 MHz。

　　所有測試均是在實際環(huán)境中，S100計算卡能夠直接投入實際場景的使用，擁有較高的應用價值。同時還能滿足高能效比、低功耗和高精度，為企業(yè)大幅降低部署成本和運維成本。

　　據(jù)了解，S100超高性能源于稀疏化計算。而稀疏化的原理是指，在AI矩陣運算中，將無效元素剔除，極大加快計算速度，降低計算成本。2021年8月，谷歌人工智能主管Jeff Dean在一次TED演講中表示，稀疏化是下一代AI架構中最重要的趨勢之一。

　　墨芯作為稀疏化產(chǎn)業(yè)實踐者，其稀疏化計算解決方案具有廣闊的生態(tài)前景。墨芯人工智能創(chuàng)始人兼CEO王維表示，“墨芯將構建涵蓋軟件、硬件、應用的AI計算平臺，與研究人員、開發(fā)者、軟件開發(fā)商等合作伙伴一起，為各行各業(yè)用戶提供高性能AI計算服務，共同構筑場景豐富、生機勃勃的稀疏化生態(tài)�！�