首包延迟怎么测才可信：采样、并发与冷启动

首包延迟（TTFT）是最容易被误读的指标。很多评测只跑三五次取平均，结果受冷启动、网络抖动与上游排队影响极大。我们在四个时段（早高峰、午间、晚间、凌晨）各跑 50 次同构请求，得到的 p50 与 p95 常常相差一倍以上，个别站点 p95 达到 p50 的三倍。 影响 TTFT 的因素按权重排序大致是：上游排队与限流、网关是否缓冲、模型本身的思考长度、以及网络链路。前两项站点可控，第三项取决于提示词，第四项与地域有关。所以比较站点时，必须固定提示词与并发度，否则测的是自己的脚本而不是对方的基础设施。 另一个细节是并发。单并发下的 TTFT 往往很漂亮，但真实业务是并发的；我们建议至少测 1、4、16 三档并发，观察 p95 的劣化曲线。劣化平缓说明有真实容量，陡增说明只是排队策略在掩盖容量不足。目录里的实测数据即按这一口径采集，未纳入实测的站点会明确标注「未实测」。 补一个操作细节：测速脚本要固定 DNS 与出口线路，否则同一站点在不同网络下的结果无法比较。我们在目录里公开的实测数据都标明了节点区域与并发档位，复现时按同一口径执行才有意义。