国产女人高潮抽搐喷水视频,91精品国产一二三,欧美日韩国产亚洲综合卡18,在线播放免费av,午夜av网站,国产日本一区,亚洲成年人专区

您的位置:首頁>智東西 >

英偉達H100霸榜權威AI性能測試 11分鐘搞定基于GPT-3的大模型訓練|全球資訊

來源:科創(chuàng)板日報  


(資料圖片僅供參考)

財聯(lián)社6月28日訊(編輯 史正丞)當?shù)貢r間周二,機器學習及人工智能領域開放產(chǎn)業(yè)聯(lián)盟MLCommons披露兩項MLPerf基準評測的最新數(shù)據(jù),其中英偉達H100芯片組在人工智能算力表現(xiàn)的測試中,刷新了所有組別的紀錄,也是唯一一個能夠跑完所有測試的硬件平臺。

(來源:英偉達、MLCommons)

MLPerf是由學術界、實驗室和產(chǎn)業(yè)組成的人工智能領袖聯(lián)盟,是目前國際公認的權威AI性能評測基準。Training v3.0包含8種不同的負載,包括視覺(影像分類、生物醫(yī)學影像分割、兩種負載的物體偵測)、語言(語音識別、大語言模型、自然語言處理)和推薦系統(tǒng)。簡單來說,就是由不同的設備供應商提交完成基準任務所需要的時間。

(Training v3.0訓練基準,來源:MLCommons)

在投資者比較關注的“大語言模型”訓練測試中,英偉達和GPU云算力平臺CoreWeave提交的數(shù)據(jù)為這項測試設定了殘酷的業(yè)界標準。在896個英特爾至強8462Y+處理器和3584個英偉達H100芯片的齊心協(xié)力下,僅僅花了10.94分鐘就完成了基于GPT-3的大語言模型訓練任務。

除了英偉達外,只有英特爾的產(chǎn)品組合在這個項目上獲得評測數(shù)據(jù)。由96個至強8380處理器和96個Habana Gaudi2 AI芯片構建的系統(tǒng)中,完成同樣測試的時間為311.94分鐘。橫向?qū)Ρ?,使?68個H100芯片的平臺跑完這個測試也只需要45.6分鐘。

(芯片越多數(shù)據(jù)越好看,來源:英偉達)

對于這個結果,英特爾也表示仍有上升空間。理論上只要堆更多的芯片,運算的結果自然會更快。英特爾AI產(chǎn)品高級主管Jordan Plawner對媒體表示,接下來Habana的運算結果將會呈現(xiàn)1.5倍-2倍的提升。Plawner拒絕透露Habana Gaudi2的具體售價,僅表示業(yè)界需要第二家廠商提供AI訓練芯片,而MLPerf的數(shù)據(jù)顯示英特爾有能力填補這個需求。

而在中國投資者更熟悉的BERT-Large模型訓練中,英偉達和CoreWeave將數(shù)據(jù)刷到了極端的0.13分鐘,在64卡的情況下,測試數(shù)據(jù)也達到了0.89分鐘。BERT模型中的Transformer結構正是目前主流大模型的基礎架構。

關鍵詞:

最新文章