大模型時代，怎樣的基礎設施與服務才能滿足行業(yè)所需？

4月9~11日，第十二屆中國電子信息博覽會（CITE 2024）在深圳舉行，商湯科技大裝置事業(yè)群首席運營官梁守星受邀參加博覽會期間的“2024 AI算力產業(yè)大會”，分享了商湯大裝置在AI基礎設施與服務領域的探索和實踐成果。

打造“數(shù)據(jù)、算力、算法”三位一體的AI基礎設施

數(shù)據(jù)、模型、算力的量變，引發(fā)了AI行業(yè)的質變。

比如，大模型的語料規(guī)模5年間翻了1000倍，模型參數(shù)量更是百萬倍的增長，而算力也呈現(xiàn)數(shù)十萬倍的增長趨勢。

在這一趨勢下，以基礎算力、網絡、存儲服務為核心的傳統(tǒng)云架構，已難以滿足AI行業(yè)的需求。AI時代的基礎設施，需要做到“數(shù)據(jù)、算力、算法”三要素的一體化。

數(shù)據(jù)管理是一項復雜而重要的任務，涉及接入、采集、標注等體系化流程。而且相較英文，中文語料的變量更加多樣，增加一個標點就可能改變整個語境，進一步增加了數(shù)據(jù)管理難題。

對此，商湯大裝置打造了百億級非結構化的AI數(shù)據(jù)管理平臺，并支持秒級的數(shù)據(jù)可視檢索，同時還提供數(shù)據(jù)安全整套解決方案和優(yōu)質公開數(shù)據(jù)集，讓數(shù)據(jù)管理更便捷、模型訓練更高效。

在算力層面，商湯前瞻布局SenseCore商湯大裝置，擁有高達12,000 petaFLOPS的算力規(guī)模，超過4.5萬塊GPU，為商湯自身大模型研發(fā)提供了豐沛算力的同時，也支持外部客戶訓練大模型和應用部署，國內主流大模型客戶達30家以上。

基于商湯大裝置及長期經驗積累，商湯構建了高效、完備、易用的大模型生產工具鏈，實現(xiàn)了基礎層、模型層、串聯(lián)層、應用層的標準化體系。

不僅如此，商湯還提供涵蓋從訓練系統(tǒng)優(yōu)化、模型訓練、技術咨詢的全鏈條AI專家服務體系，滿足各行各業(yè)不斷涌現(xiàn)的大模型開發(fā)和應用需求。

在商湯大裝置的支持下，商湯在算法層面也實現(xiàn)了高效迭代?！叭杖招耂enseNova 4.0”在代碼編寫、數(shù)據(jù)分析和醫(yī)療問答等多個場景中，達到了與GPT-4相匹配的能力水平。本月，商湯日日新大模型體系還將發(fā)布最新更新。

助力各行各業(yè)降本增效、產業(yè)升級

根據(jù)國際知名調研機構弗若斯特沙利文（Frost & Sullivan）聯(lián)合頭豹研究院發(fā)布的《2023年中國AI開發(fā)平臺市場報告》，商湯大裝置成為AI開發(fā)平臺領軍者，市場綜合競爭表現(xiàn)國內第一，全球位居第二，僅次于亞馬遜云。

作為AI原生時代稀缺的大模型基礎設施，商湯大裝置正在助力各行各業(yè)客戶實現(xiàn)降本增效和產業(yè)升級：

例如，助力某大模型客戶在1個月內完成500B tokens、千億規(guī)模參數(shù)LLM預訓練，顯著提升自動應答質量提升。

助力某電力客戶優(yōu)化電力生產和運維流程、降低客戶生產成本和運維難度、提升電網運行效率和穩(wěn)定性，促進新能源集成和消納。

此外，商湯還與重慶南岸區(qū)聯(lián)合打造重慶AIDC，助力重慶AIDC成為國產化示范點，賦能當?shù)卣铡⒚裆?、經濟等領域數(shù)字化應用及西南地區(qū)重點產業(yè)升級。

商湯大裝置致力于打造高效率、低成本、規(guī)模化的下一代AI基礎設施產品與服務，構建豐富的產業(yè)上下游生態(tài)，共建、共創(chuàng)AI未來發(fā)展。