OpenRouter 重建默认路由算法：TTFT 降 16.9%、429 错误减少 67%

OpenRouter 宣布对其自成立以来最大的提供商路由算法进行重建。此前默认路由器几乎只按输入 token 价格分配流量，约 77% 的请求流向由多个提供商提供的模型；新算法改为计算实时的 Routing Cost，综合有效价格、首 token 时间、吞吐量、错误率、速率限制和输出质量，为每个请求挑选成本与性能的最佳组合。 路由成本由两部分构成：一次尝试的成本，即按近期实测流量估算的有效价格加上等待时间，等待时间包含 TTFT 和端到端吞吐；以及成功的概率，失败重试的预期成本会计入其中。可靠性错误会带来重罚，错误率明显偏高的提供商会暂停接收请求；质量检查目前主要看工具调用格式是否正常，被标记异常的提供商会只保留少量测试流量。 流量分配上，范围内的提供商共享大部分流量，落后于最佳者只会少量损失，超出范围后份额迅速下降；同时设有下限、退避和上限三条保护，上限会学习每个提供商在触发 429 前的可承受负载，容量增加后自动提高。 官方采用按 3 小时时间块交替切换新旧路由器的实验，每次切换后丢弃 1 小时预热数据，持续一周，覆盖超过 2400 万次请求和 1030 亿输入 token。结果显示 TTFT p50 从 1007 ms 降至 837 ms，降低 16.9%；TTFT p95 降低 18.9%；吞吐量 p50 从 62.4 tok/s 升至 72.6 tok/s，提高 16.3%；每千次请求成本从 1.25 美元升至 1.32 美元，上升 6.0%；每百万 token 成本上升 7.3%；至少遇到一次 429 的比例从 7.1% 降至 3.8%，减少 67%；需要重试的比例从 10.4% 降至 6.9%，减少 47%。 兼容性方面，设置 provider.order 的请求会绕过新路由，provider.only 和 provider.ignore 仍用于筛选候选集；显式指定 provider.sort 为 price、throughput 或 latency 会使用该排序。对话中只有第一个请求由算法选路，后续请求固定到原提供商以保持提示缓存命中，该提供商不可用时自动回退。希望保留仅按价格路由的用户可将 provider.sort 设为 price、在模型 slug 后追加 :floor，或在账户设置中把默认排序设为价格。