每經(jīng)AI快訊，據(jù)央視新聞，8月12日，在2025金融AI推理應(yīng)用落地與發(fā)展論壇上，華為將發(fā)布AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器）。作為一款以KV Cache為中心的推理加速套件，其融合了多類型緩存加速算法工具，分級管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，擴(kuò)大了推理上下文窗口，以實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn)，降低每Token的推理成本。

據(jù)介紹，推理體驗(yàn)直接關(guān)系到用戶與AI交互時(shí)的感受，包括回答問題的時(shí)延、答案的準(zhǔn)確度以及復(fù)雜上下文的推理能力等方面。當(dāng)前，隨著AI產(chǎn)業(yè)已從“追求模型能力的極限”轉(zhuǎn)向“追求推理體驗(yàn)的最優(yōu)化”，推理體驗(yàn)直接關(guān)聯(lián)用戶滿意度、商業(yè)可行性等，成為衡量模型價(jià)值的黃金標(biāo)尺。