# 中科曙光推出ParaCache推理加速方案,首词元时延降幅最高达98.5%
大模型推理的响应速度,长期以来是制约生成式AI应用走向大规模落地的关键瓶颈之一。
大模型推理的响应速度,长期以来是制约生成式AI应用走向大规模落地的关键瓶颈之一。在用户与智能助手或文档分析产品交互时,从输入问题到看到第一个字回复之间的“首词元时延”,往往直接决定了交互体验的流畅度。近期,中科曙光公布了一项名为ParaCache的加速技术,引起行业关注。根据公开新闻摘要,该方案宣称能够将首词元时延最高降低98.5%。这一数字若属实,意味着在部分长上下文或高并发场景下,用户等待首个回复字符的时间可能被压缩至原先的百分之一