質を落とさずに下げられる手から先に打ちます。当社が使っている順番は、呼ばない・使い分ける・置いておくの三つで、短くするのはその後です。
逆から始めると、削った分だけ結果が悪くなり、削り戻すことになります。順番を守るだけで、無駄な往復が減ります。
順番が決まっていると、下げる作業そのものが速くなります。毎回どこから手をつけるかを考えずに済むからです。
いちばん確実な節約は、呼ばないことです。書式の確認、必須項目の有無、数値の範囲。こうした判定は、ふつうの処理で足ります。
AIに投げるのは、判断が要るところだけにします。第6章で書いた「形は機械が見て、中身は人とAIが見る」という分担が、そのまま費用にも効きます(C-06-3 AIに採点させるとき)。賢いものを、簡単な仕事に使わない。
呼ばないと決めた部分は、動きも速くなります。費用と速さは、たいてい同じ方向に動きます。
全部を同じモデルで処理する必要はありません。仕分けや要約のような軽い仕事は軽いモデルで、判断が要る仕事だけ重いモデルに回します。
軽いほうでよい ── 分類、抜き出し、定型の言い換え。答えの幅が狭い仕事。
重いほうを使う ── 手順を組み立てる、根拠を突き合わせる、書き分ける。答えの幅が広い仕事。
迷ったら、まず軽いほうで試して、評価用の例で点が落ちないかを見ます。落ちなければ、そのままで十分です。
モデルごとの向き不向きと単価は、一覧で比べられるようになっています。Anthropic「モデル概要」↗
使い分けが成り立つのは、第6章の物差しがあるからです。点が落ちたかどうかを見られないと、怖くて軽いほうに寄せられません。
はじめから重いほうに寄せると、あとで軽くする判断がしにくくなります。軽いほうから始めて、足りないところだけ上げるほうが決めやすいです。
毎回まったく同じ指示文や参考資料を送っているなら、そこを繰り返し送らずに済ませる仕掛けがあります。二回目以降は、置いてあるものを使い回します。
同じ前置きを何度も使う作りほど効きます。当社のように定期実行が多い場合、ここが大きく効きました。変わらない部分と、毎回変わる部分を分けて書くのが前提になります。
使い回せる条件は仕組みごとに決まっているので、当てにする前に確かめます。条件から外れると、そのまま普通に課金されます。
仕組みと条件は、各社の資料に説明があります。Anthropic「プロンプトキャッシング」↗
参考資料を丸ごと渡すのは、いちばん手軽で、いちばん高くつきます。必要なところだけを探して渡す作りにすれば、量は大きく減ります。
これは費用のためだけではありません。関係のない文章が混ざるほど答えは薄くなるので、絞ることは質の話でもあります(A-03-1 資料の切り分け方)。
絞る仕掛けを作る手間はかかりますが、一度作れば毎回効きます。回数の多い仕事ほど、先に手当てする値打ちがあります。
出力の長さを削る、指示文を削る。ここは効きますが、質にも直接ひびきます。ですから、前の四つを打ってからにします。
削るときも、当てずっぽうにはしません。評価用の例で点を見ながら、落ちない範囲で削ります。落ちはじめた一つ手前が、その仕組みのちょうどよい長さです。
削った結果は記録に残します。次に同じ仕組みを触る人が、どこまで削ってあるかを知らないと、また同じ試しを繰り返します。
当社では 221本 の定期実行のうち、軽いモデルで足りるものと重いモデルが要るものを分けています(AIの中身)。分ける判断は感覚ではなく、評価用の例で点が変わらないことを確かめてから移しています。
やってみて分かったのは、重いモデルが必要な仕事は、思っていたより少ないということでした。難しそうに見える仕事の多くは、手順を分ければ軽いほうで足ります。
下げ方が分かったら、最後は見方です。総額ではなく、何と並べて見るかを考えます。
章と記事の全体は図書館の見取り図で一枚にまとめています。