「この案でいいでしょうか」と尋ねると、多くの場合は肯定から始まります。次に来る言葉として自然なものを選んでいるので、こちらが期待している向きに寄ります(第2章 生成AIとLLM)。
ここが落ち着かないところです。追認する機械を一体増やしても、判断の質は上がりません。むしろ、賛成が返ってきたぶん確からしく感じてしまいます。
頼み方でも直りにくいところです。「厳しく見てください」と書けば口調は厳しくなりますが、結論は変わらないことがよくあります。文体と判断は、別に動きます。
当社は、案を出す役の隣に、危なさを指摘する役を別に置いています。同じ一体に両方頼まないのが要点です。指摘する側には、指摘することが仕事だと渡します。頼み方ではなく、置き方で決まります。
実測では、議論の役を三つに分け、それぞれに主と予備を用意して 6経路 にしています。ひとつのモデルが黙っても議論が止まらない形です。議論以外の用途も含めた切替の網は 全13経路 あります。
1. 同じ一体に兼ねさせない ── 案と批判は基準が違います。
2. 反証を仕事にする ── 「良い点も挙げて」と頼むと、批判が薄まります。
3. 黙ったときの代役を置く ── 一つ止まると議論が成立しなくなるためです。
反対役を置いても、決めるのは人のままです。議論の結果として出てくるのは、賛成の理由と反対の理由が並んだ一枚です。それを見て決める場面は、仕組みでは減りません(第7章 人が決めること)。
当社の実測では、決めた件数は過去7日で 88件、30日で 373件 です。件数が増えても、この列は仕組みでは短くなりません。
AIの費用は、扱った量で決まります。読ませた量と書かせた量の合計です。ですから三体で議論させれば、素朴に三倍近くかかります。反対役を置く判断は、値打ちと費用の両方で決めることになります。
体数 ── 議論に参加する数だけ、呼ぶ回数が増えます。
渡す量 ── 全員に同じ資料を渡すと、資料のぶんが人数ぶんかかります。渡す範囲を役ごとに絞ります。
量で決まる料金の考え方は各社の料金表に開かれています。Google Cloud「Agent Platform の料金」↗
当社の線引きは単純です。取り消せること、あとから直せることは、一体で進めます。お金が動くこと、対外的に出るもの、戻せないものだけ、反対役を通します。
この線を引かずに全部を議論に回すと、費用が数倍になり、しかも人に上がってくる一覧が長くなって読まれなくなります。反対役を増やすほど良くなるわけではありません。
もう一つの見方は、やり直せる回数です。あとから何度でも直せるものは、一体で早く出したほうが結局速い。やり直しが一度きりのものは、先に反対役を通します。費用ではなく、やり直しの余地で決めます。
回数で置くよりも、金額で置くほうが実務に合います。使った量で決まる料金なので、金額の上限がそのまま歯止めになります。用途ごとに上限を置き、超えたら止める形です。付け方はB-04-2 ループを止める設計に書きました。
費用の考え方そのものは第9章 費用にまとめています。
議論の三役に、同じ性能のモデルを並べる必要はありません。当社は役ごとに使い分けていて、軽い役には軽いものを当てています。指摘の役だけ丁寧なものにする、という配分ができます。
配分を決めるときに見るのは、間違えたときの損です。損の大きい役だけ丁寧にすれば、全体の費用は上がりません。
ここまでで、仕事をまかせる棚は読み終わりです。次は、まかせたあとを守る棚。合っているかをどう確かめるかから始まります。
章と記事の全体は図書館の見取り図で一枚にまとめています。