当算力预算是部委地下室里的一个机柜而不是弹性云时,选型就不再是品味问题。我们学会了组合小型专家 — 然后发现即使在算力无限的地方,这个模式照样取胜。
01
分解胜过规模
合同审查不是一个问题,而是抽取、分类、比对、起草的集合。每个步骤都有一个能使其难度饱和的模型规模。把每个步骤路由到能饱和它的最小模型,流水线就比一个被要求包办一切的大模型更快、更省、更易调试。
02
质量藏在编排里
收益来自接缝处:步骤之间的校验、置信度下降时用更锋利的指令重试、只在专家模型报告不确定时才升级到更大的模型。质量是流水线的属性,不属于其中任何一个单独的模型。
03
衡量工作,而不是榜单
榜单奖励模型,运营奖励系统。我们跟踪每完成任务的成本、返工率和验收时长 — 这些是客户能感知的数字。在这些数字上,一组编排良好的小型专家,是我们交付过的最强配置,无论在线还是离线。