生成AIは、次にくる言葉としてもっともらしいものを選び続けます。この作りには、「知らない」という選択肢がもともと入っていません。答えを持っていなくても、それらしい形の文章は作れてしまいます。
厄介なのは、嘘のときも文体が変わらないことです。自信のなさは文面に出ません。ですから読み手の側で見分けるのは、諦めたほうがよいと考えています。仕組みで落とします。
出方には癖があります。存在しない条文や規格の番号、実在しない書式の名前、それらしい日付。細かくて確かめにくいところから崩れます。逆に言えば、確かめにくい部分ほど機械で照合する値打ちがあります。
いちばん多い遠回りが、追加学習（ファインチューニング）から入ることです。追加学習が得意なのは、答え方や書き方を寄せること。知らない事実を覚えさせる手段ではありません。
先に手をつけるべきは、事実を手元から渡すことです。順番を守るだけで、かかる費用も時間も一桁変わります。
1. 資料を持たせる ── 答える前に、手元の資料を読ませる。
2. 出典を出させる ── どの資料の何行目かを一緒に返させる。
3. 答えない選択肢を与える ── 資料に無ければ「無い」と返す指示を入れる。
4. 機械で照合する ── 金額・日付・型番を、元の資料と突き合わせる。
5. 人が承認する ── 外に出るもの、お金が動くものは人が通す。
追加学習とプロンプトの使い分けは Google のクラッシュコースに整理されています。Google for Developers「LLM: ファインチューニング、抽出、プロンプト エンジニアリング」↗
資料を持たせる仕組みがRAGです。出典を一緒に返させるところまで含めて、多くの場合は数日で組めます。ここまでで、事実に関する嘘は大きく減ります。
三つめの「答えない選択肢」は、指示文に一行足すだけです。それでも効きます。無いものを無いと言える状態にしておかないと、AIは埋めにいきます。
照合というと難しく聞こえますが、やることは引き算です。答えに出てきた数字と日付を拾い、元の資料に同じものがあるかを確かめる。無ければ人に回す。正しさを証明するのではなく、明らかにおかしいものを落とす作りにします。
この検査は、機械のほうが速くて安いところです。測り方の考え方は第6章 評価にまとめました。
落とした件を捨てないことも大切です。何を落としたかを残しておくと、どの種類の間違いが多いのかが見えてきます。当社は、その記録から指示文と資料の側を直しています。検査は関門であると同時に、直すための材料でもあります。
最後まで残るのは、人が通す線です。国が示している事業者向けの指針でも、人間による監督や責任の所在を確かめることが求められています。技術で減らせる部分と、人が引き受ける部分は別物です。
お金が動くもの、外に出るもの、消えると戻せないもの。この三つは自動で通しません。
それ以外は、記録を残したうえで自動で進めます。
国内の指針は次にまとまっています。経済産業省・総務省「AI事業者ガイドライン」↗
線の引き方そのものは第7章 人が決めることに書きました。
当社は、失敗の記録 3,521件 のうち 3,518件 を教訓の候補として自動で拾っています。ただし「候補」までです。会社の正式な記録として採用するかは人が決めます。AIが自分の学びを自分で承認する経路は作っていません。
この三十日で人が下した判断は 373件 でした。仕組みを増やしても、決める回数は減りません。減るのは、決めるまでの下調べです。
ここまでで、生成AIの中身と癖が見えてきました。次の章は、その癖を前提にして社内の資料を読ませる仕組みへ進みます。
章と記事の全体は図書館の見取り図で一枚にまとめています。