計算予算が弾力的なクラウドではなく省庁の地下にあるラック1本なら、モデル選定は好みの問題ではなくなります。私たちは小さな専門家を組み合わせることを学び — そしてこのパターンが計算資源の潤沢な環境でも勝つことを発見しました。
01
分解はスケールに勝る
契約書レビューはひとつの問題ではありません。抽出、分類、比較、起草の集合です。各ステップには、その難易度を飽和させるモデルサイズがあります。各ステップを飽和させる最小のモデルへ振り分ければ、パイプラインは速く、安く、デバッグしやすくなります — すべてを任された単一の大型モデルよりも。
02
品質はオーケストレーションに宿る
利得は継ぎ目から生まれます。ステップ間の検証、確信度が下がったときの指示を研ぎ直した再試行、専門モデルが不確実性を報告したときだけの大型モデルへのエスカレーション。品質はパイプラインの性質であって、中のどのモデル単体の性質でもありません。
03
ベンチマークではなく仕事を測る
ベンチマークはモデルに報い、運用はシステムに報います。私たちは完了タスクあたりのコスト、修正率、受領までの時間を追跡します — 顧客が体感できる数字です。その数字の上では、よくオーケストレーションされた小さな専門家の集合が、オンラインでもオフラインでも、私たちが出荷する最強の構成です。