最初に押さえておくと楽なのは、料金が呼んだ回数では決まらないという点です。一回ごとに、渡した量と返ってきた量で決まります。
ですから、短いやり取りを百回するより、長い資料を十回渡すほうが高くつくことがあります。回数の感覚で見積もると、たいてい外れます。
お見積もりのご相談でも、何回呼ぶかではなく、一回に何を渡すかから伺っています。ここが決まらないと、桁が動いてしまうためです。
数え方の単位は、文字でも単語でもなく、その中間くらいの細かさで区切った塊です。日本語だと、おおむね一文字が一つか、それより少し少ない見当になります。
正確な数は、送る前に数えられるようになっています。当社が見積もりを出すときも、代表的な依頼文をそのまま数えて計算しています。推測せず、数えれば分かります。
英語と日本語では、同じ内容でも数えられ方が変わります。日本語のほうが多めに出るので、英語の資料の見当をそのまま当てはめると足りません。
送る前に量を数える方法は、各社の資料に用意されています。Anthropic「トークンカウント」↗
渡した分だけでなく、返ってきた分にもかかります。しかも多くの場合、返ってくるほうが単価は高い設定です。
渡した量 ── 指示文、参考資料、これまでのやり取り。長い資料を丸ごと渡すと、ここが膨らみます。
返ってきた量 ── 生成された文章。長く書かせるほど増え、単価も高めです。
使うモデル ── 賢いものほど単価が高く、軽いものは桁が変わることもあります。
三つとも、あとから調整できます。作り直さずに下げられる余地は、たいてい残っています。
実際の単価は、使うモデルと入り・出で分かれて公開されています。Google Cloud「Agent Platform の料金」↗
見落とされやすいのがここです。「あなたは◯◯の担当です」という長い指示文や、社内規程のような参考資料を毎回付けている場合、その分は毎回課金されます。
一回あたりは小さくても、日に千件流れれば千回分です。当社が費用を見るとき、まず疑うのはこの固定部分です。中身より、前置きのほうが長いことは珍しくありません。
短くするだけでなく、必要なときだけ付ける形にもできます。すべての依頼に規程を付ける必要は、たいていありません。
やり取りを続ける作りでは、過去のやり取りを毎回まとめて渡し直しています。ですから十往復目は、一往復目よりずっと重くなります。
放っておくと、後半だけで費用の大半を使うことがあります。どこまで覚えておくかを決める話が、そのまま費用の話になります(B-04-3 短い記憶と長い記憶)。
途中で要約してから渡し直す作りにすれば、増え方をなだらかにできます。何を残して何を捨てるかは、仕事の性質で変わります。
複数の担当に分けると見通しは良くなりますが、渡し合う分だけ量は増えます。三つに分ければ、単純には三回呼ぶことになります。
ですから当社は、分ける前に「分けるほど複雑か」を確かめます(B-05-1 いつ役割を分けるか)。分けるのは、費用を払ってでも見通しが要るときだけです。
分けた数だけ、渡し合う内容も増えます。役割を三つにすると、呼ぶ回数だけでなく前置きも三つ分になります。
当社では 221本 の定期実行と 85体 の稼働があり、放っておけば費用は積み上がります(AIの中身)。使った量は仕事の種類ごとに記録していて、どこで使われているかを月に一度見ています。
見はじめて分かったのは、重い一件より、軽い大量のほうが効くということでした。目立つのは重いほうですが、金額を作っているのは回数の多いほうです。
ですから、下げる手を打つ順番も、回数の多いほうから決めています。目立つほうから手をつけると、労力のわりに効きません。
何にかかっているかが分かったら、次は下げ方です。質を落とさずに下げる順番を見ていきます。
章と記事の全体は図書館の見取り図で一枚にまとめています。