混合架构：私有模型打底，中转 API 补峰

全年跑满的请求里，大约六成是高度重复的模板化任务：分类、抽取、格式转换。这类任务用私有部署的小模型处理，边际成本接近于零，且不受外部限流影响。剩下四成包含长尾需求与新模型尝鲜，适合交给中转 API。 混合架构的关键是路由层。我们按三个维度分流：任务类型（是否模板化）、上下文长度、以及质量要求。模板化且短的请求走本地，长上下文与高难度推理走中转；同时在路由层记录每条路径的成本与质量，按月复盘。 需要提前设计的是降级路径。中转侧出现 429 或超时时，路由层应能自动回落到本地模型并降低输出长度，而不是直接报错给用户。这条降级路径要在压测里演练过，否则真出事时它只是一段没被执行的代码。 混合架构还有一个隐性收益：谈判筹码。当你能把流量在自有推理与外部 API 之间自由迁移时，中转侧的报价与配额谈判空间会明显变大，这一点在年框采购时尤其明显。 运维上要把两条路径的监控打通，用同一套指标口径比较成本与质量，否则混合架构很容易退化成「两套系统各说各话」。