市科技局:“悟空智算”成功適配DeepSeek全參數版
近日,人工智能大模型DeepSeek-R1671B在“悟空智算”中心完成全量部署上線,以每秒4416Token的極致效率引領行業標桿。目前正式開放API(應用程序接口)服務,為戶提供開箱即好用的人工智能解決方案。“悟空智算”作為我市重點打造的人工智能產業集群項目,現持有高性能、國產化、消費級多元化算力超6500P,是國家工業智算華東節點,也是目前公安部三所共建的第一個人工智能聯創中心。
“悟空智算”成功適配DeepSeek全參數版。近日,人工智能大模型DeepSeek-R1 671B在“悟空智算”中心完成全量部署上線,以每秒4416Token的極致效率引領行業標桿,目前正式開放API(API是指通過接口形式為垂類人工智能應用提供DeepSeek算法調用)服務。“悟空智算”作為我市重點打造的人工智能產業集群項目,現持有高性能、國產化、消費級多元化算力超6500P,是國家工業智算華東節點,也是目前公安部三所共建的第一個人工智能聯創中心。
本次“悟空智算”部署的DeepSeek-R1為671B全參數版,DeepSeek-R1按參數量劃分有1.5B、7B、14B……671B版本,均為開源。參數越大模型精度越高,同時對設備要求性能越高,“悟空智算”除了實現了全量部署外,主要是對模型調用進行了二次優化,每秒4416Token的生成速度,為目前國內公開渠道已知的最快速度(未經過專門優化的算力中心Token生成速度約為1480個左右,國產算力常規生成速度在每秒80-450個左右),Token的生成速度直接決定了單位時間對數據處理的任務數量,生成速度快可以更好的快速響應大規模的數據計算,大大提高了工作效率降低了系統故障率。
掃一掃打開當前頁