隨著大模型技術迅速迭代，詞元（Token）服務已成為技術走向應用的關鍵節點。10月23日，中國信息通信研究院人工智能研究所、人工智能大模型及軟硬件評測工業和信息化部重點實驗室與中國人工智能產業發展聯盟聯合發佈《大模型詞元服務性能監測報告（2026年）》（下稱報告）。
報告顯示，詞元服務呈現量價齊升態勢，其中國內的詞元價格較去年下半年翻倍，但量的增長達到3倍。2026年6月，國內詞元日均消耗量約500萬億，是2025年12月的近4倍。越來越多模型即服務（MaaS）平臺廠商通過公有云API方式供給大模型詞元服務，而用戶對詞元服務性能缺乏直觀判斷依據、面臨選型困難，是該報告開展的背景。
報告基於2026年1至8月的監測數據，圍繞調用成功率、吞吐速度、首詞時延、穩定性、價格、上下文窗口等維度，對國內外大模型詞元服務開展分析。
經歷過去兩年價格戰後，2026年國內外模型服務價格明顯上漲：歸一化（注：把各家不同的計價方式，折算到同一個統一口徑上，讓價格可以橫向比較）均價從2025年下半年的6.8元漲至今年的13.46元，漲幅接近一倍；但國外價格仍顯著高於國內，2026年以來發布的典型模型平均歸一價格約為117.8元。
性能方面，8月份國內各模型平均每秒輸出詞元數（TPS）達到78.23個，較2025年均值38.25個實現翻倍；但同期國外典型模型TPS均值為112.82個，整體仍優於國內。時延方面，國內模型平均首詞時延（TTFT）呈持續上升態勢，8月份均值達1.26秒，較2025年平均值0.78秒明顯增加；國外典型模型8月TTFT平均值為2.08秒，同樣呈上升趨勢。報告解釋稱，時延上升並非單純的性能退化，而是伴隨模型參數量增加、上下文長度增加、調用量增加等多種因素同步產生的結果。
報告監測的模型中，上下文長度達到100萬（1M）詞元的模型佔比已達47.8%，20萬（200K）詞元及以上的合計佔比達95.7%，較2025年底提升超過76個百分點，更短上下文模型的佔比則持續減少。
報告還對比了DeepSeek、Qwen、GLM、Kimi四款開源模型在不同第三方平臺上的表現。5月份四款開源模型完成新版本換代後，TPS持續提升、時延不斷壓縮——以8月份數據計，DeepSeek-V4-Pro的TPS已達到DeepSeek-V3.2的2倍。但同一模型在不同平臺間的表現不一：部分第三方平臺的性能明顯優於官方平臺，同一模型在不同平臺間的TPS差距最大可接近一倍。報告認為，各平臺對相同模型的推理加速、優化策略、成本控制不同，是造成性能分化的主要原因。
來源：澎湃新聞
