人民網成都7月30日電 （趙祖樂）近日，2025（第二屆）產融合作大會在四川宜賓舉行。會上，浪潮存儲營銷總監張業興代表浪潮存儲正式發布國內首款推理加速存儲AS3000G7。

該產品憑借“以存代算”的技術創新，有效破解KV Cache重復計算帶來的算力和時延損耗難題，為大模型推理場景提供突破性解決方案，加速推動大模型在金融、科研等領域的規模化落地。

作為國內首款推理加速存儲產品，AS3000G7有四大核心優勢，具體如下：

降低響應延遲。將歷史Token緩存至AS3000G7存儲層，下輪對話從NVMe SSD硬盤中拉取歷史token的KV Cache，減少GPU重復計算帶來的資源消耗，TTFT降低90%。

承載更多并發。TTFT在400ms以內的前提下，系統可支持的吞吐量（Token/s）可達原方案5倍，單位GPU資源可承載更多推理請求。

降低GPU功耗。TTFT的降低與并發的提升，單Token平均功耗下降60%，在承載同等規模token負載時，GPU服務器整機功耗降低。

生態兼容適配。廣泛兼容國產與海外芯片的異構算力平臺，深度適配vLLM框架下的deepseek等主流大模型，優化推理體驗。

隨著大模型推理需求的持續攀升，AS3000G7的推出恰逢其時。其通過“以存代算”的技術創新突破KV Cache重計算瓶頸，為AI規模化應用筑牢存儲根基。未來，隨著多模態與實時交互場景的普及以及存儲與計算的協同優化，KV Cache“以存代算”將成為降本增效的核心競爭力，為智能時代的推理存儲構建新基準。

分享讓更多人看到