LLM API 延迟优化：从 3 秒到 300 毫秒

用户点下「发送」之后，你的应用要等多久才能吐出第一个字？如果答案是 3 秒以上，你已经在用一轮轮地流失用户。2026 年的产品数据反复证明同一件事：延迟是 AI 产品留存的第一杀手——对话类应用每增加 1 秒首字延迟，用户完成率平均下降 5%～8%；API 场景下，单次请求多 500ms，重试率和投诉率都会明显上升。

好消息是，绝大多数「3 秒」里，模型推理只占一小部分。把一次请求拆开看，你会发现大量时间浪费在你能控制的地方：网络往返、排队等待、序列化开销、以及最容易被忽略的——前端傻等完整响应。这篇文章把一次 LLM API 调用从 3 秒压到 300 毫秒的每一步都拆给你看，全部是能直接落地的工程手段。

一、先把延迟拆开：TTFT 与 TPOT

理解延迟，先理解两个指标：TTFT（Time To First Token，首 Token 延迟）是从发出请求到收到第一个输出 Token 的时间，它决定「用户感觉快不快」；TPOT（Time Per Output Token）是生成速度，决定整段回答要多久。优化策略完全不同：TTFT 靠减少传输与排队，TPOT 靠模型选择和生成参数。

一次典型请求的时间构成大致是：DNS + 建连 20～80ms（连接可复用后降为 0）→ TLS 握手（复用后为 0）→ 请求传输 10～50ms → 网关排队 50～300ms（高峰期更久）→ 模型排队 100～500ms → 推理首 Token 300ms～2s → 流式传输剩余 Token。看出问题了吗？真正属于「模型算得慢」的部分往往不到一半，剩下的大头都在你的架构里。

二、第一刀：流式输出（Streaming）

如果你还在等完整响应返回再展示，先做这一件事：开启 stream=true。流式模式下，模型生成第一个 Token 就立刻推送给你，用户的「感知延迟」直接从「整段回答时间」降为 TTFT。实测中，一段 800 Token 的回答，非流式要 6 秒，流式下用户 0.6 秒就看到第一个字——总时间没变，体验差距却是天壤之别。配合逐字渲染，用户还能看到「模型在思考」，减少焦虑和重复点击。

三、第二刀：连接复用与并发

每轮对话都重新建立 HTTPS 连接，等于每次白付 20～80ms 的建连开销。四个动作立刻做：

• HTTP Keep-Alive / 连接池：Python 用 httpx.Client、Node 用 undici 或 fetch 复用连接，避免每次新建。
• 异步并发：多个独立请求（批量摘要、多文档分析）用 asyncio 并发发出，而不是串行等待——串行 10 个请求要 30 秒，并发只要 3 秒。
• 服务端到上游也用长连接：像 DrAI 这样的 API 网关本身会维护到上游模型商的连接池，这也是AI API 网关除了统一计费之外的隐形价值。
• 关掉不必要的代理链：每多一跳代理，延迟 +10～50ms。

四、第三刀：模型路由——让 mini 模型干 80% 的活

不是所有请求都值得用旗舰模型。把「简单任务」路由给 mini 档模型，延迟和成本双降：

• 意图分类、标题生成、格式化、翻译短句 → GPT-5-mini 档，TTFT 通常低于 300ms。
• 复杂推理、长文写作、代码生成 → 旗舰模型，接受 1～2 秒。
• 用语义路由或规则路由（关键词、长度、置信度）自动分流，成本与延迟同时降 60% 以上，具体测算见《GPT-5-mini 还是 GPT-5？》。

路由还有一个隐藏收益：mini 模型更容易被缓存命中，命中后延迟趋近于零。

五、第四刀：提示词瘦身与 Prompt Caching

请求体越大，TTFT 越长——模型要先读完你的 system prompt 才开始生成。三个动作：

1. 压缩 system prompt：把 2000 字的规则压到 500 字，指令去重、合并同类项。
2. 利用 Prompt Caching：主流厂商对稳定的前缀（system + 历史消息）提供缓存，命中后前缀处理时间几乎为 0，还能省钱。把「变化的部分」放到消息末尾，让前缀保持稳定。
3. 清理历史消息：超过 20 轮的对话，把早期消息压缩成摘要再继续，既保上下文又降延迟。

六、第五刀：语义缓存与重试策略

很多「延迟问题」其实是「重复计算问题」：同样的请求被反复发出。加一层语义缓存——把用户输入做 embedding 后与最近的问题比对，相似度超过阈值直接返回缓存答案，命中时延迟从秒级降到毫秒级。注意设置 TTL，并只在确定性场景（文档问答、FAQ）开启，避免给用户返回过期内容。

配合超时与重试：超时设为 P95 延迟的 2 倍；重试用指数退避加抖动，别用固定间隔疯狂重试——那只会把延迟问题放大成雪崩。

生成阶段还有两个容易被忽略的开关：max_tokens 和 stop 序列。很多应用给模型开满 8K 输出上限，模型就真的会「啰嗦」到用完为止——把 max_tokens 设成任务实际需要的长度（比如摘要 500、标题 50），TPOT 平均能下降 20%～40%。stop 序列让模型输出到指定标记（空行、句号、代码块结束符）时提前收尾，既省时间又省 token。另外，思考类模型（reasoning 模式）会先输出内部推理再给答案，非必要场景关闭深度思考，TTFT 还能再省几百毫秒。

七、第六刀：部署位置——离模型近一点

如果主要用户在国内、模型服务在海外，光网络往返就是 200ms 起步。多区域部署、边缘加速和就近路由能把这部分压到 50ms 以内，这是把延迟从秒级降到毫秒级的最后一公里，完整方案见《多区域 AI 部署：全球低延迟架构指南》。

八、实测：3 秒到 300 毫秒的完整账单

把上面的手段全部落地后，一次「普通问答」的延迟账单是这样的：

环节	优化前	优化后
建立连接（复用）	60ms	0ms
请求传输	40ms	40ms
网关排队	200ms	30ms
模型排队 + 推理首 Token	1.9s	220ms（mini + 缓存前缀）
等待完整响应	1.0s	0ms（流式）
合计	≈ 3.2 秒	≈ 300 毫秒

整整 10 倍的差距，没有一项是「等模型变快」，全部是工程手段。这也是为什么我们说：延迟优化是 2026 年性价比最高的 AI 投入。

九、别忘了监控

延迟优化不是一次性工程。把 TTFT、TPOT、P95/P99 延迟、缓存命中率做成看板，每次模型版本升级、流量增长后重新测量。延迟是产品的隐形体验指标，也是成本指标——每毫秒的优化，都在同时帮你省钱。想先跑起来？注册 DrAI，一个 API Key 调 40+ 模型，流式、路由、用量统计都帮你做好了。