GPT-6 Astra 接入笔记：128K 上下文下的首包差异

GPT-6 Astra 的 128K 上下文是今年最常被引用的参数，但接入体验的差异往往出现在第一个 token 上。我们用同一份 40 页 PDF 转文本（约 6.8 万 token）向五家已核验站点发起流式请求，温度与最大输出保持一致，记录首包时间与完成时间。结果首包时间落在 0.6 秒到 2.9 秒之间，完成时间差距更大，最慢的一家是快速一家的 2.6 倍。 排查后发现差距主要来自三处：一是网关是否对流式响应做缓冲，做了整包缓冲的站会等到首个分片生成完再下发；二是长上下文请求是否被路由到独立队列，混跑时会被短请求挤压；三是上游是官方直连还是二次转发，多一跳就多一次排队。模型本身在这些站点上是同一个版本，差异几乎全部来自基础设施。 选择上，如果业务是对话类，首包时间比总时长更影响体感，优先看 TTFT 的 p95 而不是均值；如果是批处理任务，完成时间与失败率更重要。接入时建议把流式开关、超时时间、重试上限三个参数显式写进配置，别依赖默认值——默认值在不同站点之间差异极大。