【資料圖】

快科技8月31日消息，海光信息昨日宣布，旗下深算DCU已率先完成騰訊新一代旗艦大模型Hy4 preview的Day 0適配，模型發(fā)布當(dāng)天即完成推理全流程支持。

這是繼騰訊Hy3、Hy-MT2之后，海光DCU與騰訊混元系列模型的又一次深度協(xié)同。

本次適配圍繞Hy4 preview的模型結(jié)構(gòu)展開(kāi)。Hy4 preview總參數(shù)量770B（7700億），激活參數(shù)僅49B（490億），采用超大規(guī)模MoE（混合專家）架構(gòu)。

同時(shí)，該模型還引入了Gated MLA、iHC和learnable sink等新型結(jié)構(gòu)，對(duì)推理適配提出了更高要求。

海光信息憑借DTK（DCU Toolkit）、DAS（DCU Acceleration Stack）等自研軟件棧優(yōu)勢(shì)，針對(duì)Hy4 preview的稀疏注意力計(jì)算特點(diǎn)，在vLLM推理框架中接入了FlashMLA算子能力。適配工作覆蓋了Attention Sink、KV Cache及并行切分等關(guān)鍵計(jì)算環(huán)節(jié)。

在推理服務(wù)功能上，本次適配實(shí)現(xiàn)了Hy4 preview專用的推理內(nèi)容解析和工具調(diào)用解析能力，支持深度推理與直接回答兩種模式，兼容流式與非流式內(nèi)容處理，以及多工具并行調(diào)用。

這些功能為Hy4 preview在海光DCU平臺(tái)上的部署和智能體應(yīng)用提供了基礎(chǔ)支撐。

面對(duì)騰訊新一代開(kāi)源旗艦?zāi)Ｐ停９馔ㄟ^(guò)軟硬件協(xié)同能力，成功突破了大模型推理適配的技術(shù)瓶頸，展示了國(guó)產(chǎn)算力在面對(duì)國(guó)產(chǎn)旗艦大模型時(shí)的適配與落地能力。