表計算の式を間違えて金額がずれたとき、表計算の責任だとは言いません。AIも同じ扱いです。使うと決めたのは人で、出すと決めたのも人です。
この当たり前を先に確認しておくと、設計が変わります。あとで説明を求められる前提で作ることになるからです。
ご相談の場でも、この点は最初に申し上げています。任せる範囲が広いほど、あとで説明する場面は増えます。自動化を進めるほど、記録の重さは増します。
仕組みの中身を数式で説明することではありません。求められるのは、もっと素朴なことです。何を材料にして、誰が、いつ、何を決めたのか。この四つが言えれば、説明は成り立ちます。
逆に、この四つのどれかが欠けていると、答えようがありません。「たぶん、そのとき参照した資料が古かったのだと思います」では、お客様は納得なさいません。
1. 材料 ── そのとき参照した資料と、その版
2. 判断 ── 出てきた案と、選んだ理由
3. 実行者 ── 押したのは誰か。自動なら、どの決まりで動いたか
4. 時刻 ── いつ動いたか
ここが要点です。問題が起きてから記録を作ることはできません。そのときに参照した資料は、もう更新されているかもしれません。残していなければ、二度と手に入りません。
ですから、記録は動かす前に決めます。何を残すかを決めてから動かすのと、動かしてから足すのとでは、手間が何倍も違います。
足りないことに気づくのは、たいてい問題が起きた日です。その日に「残していませんでした」と申し上げるのは、いちばん避けたい場面です。
資料を読ませて答えさせる作り（A-03-1 資料の切り分け）では、答えと一緒に出どころを返させます。どの文書の、どこを見て答えたのか。
これがあると、間違いが見つかったときに、原因が資料側なのか読み取り側なのかを切り分けられます。切り分けられないと、直しようがありません。
出どころは、お客様にお見せする画面にも出しています。答えだけを出すより、根拠が添えてあるほうが、読む側が自分で確かめられます。確かめられる形にしておくことが、そのまま信用の形になります。
お客様から、あるいは取引先から。「これはどうやって決まったのですか」と聞かれる場面は、実際にあります。国内でも、AIの利用にあたって説明できる状態を保つ考え方が、繰り返し示されています。
国内での議論の場は公開されています。総務省「AIネットワーク社会推進会議」↗
間違いを直して終わりにすると、同じ間違いが戻ってきます。当社は、直した内容を教訓として残し、次の判断の材料に回しています。エラーの記録 3,521件 から、教訓の候補が 3,518件 生まれています。
残すときに大切なのは、直した事実だけでなく、なぜ起きたかを書くことです。原因が書いていない記録は、あとで読んでも使えません。
溜めるだけで使われない状態にも気をつけています。次の判断のときに引ける形にして、はじめて残した意味が出ます。
残した記録が読まれているかどうかも、数えるようにしています。読まれていない記録は、置き場所か書き方のどちらかが合っていません。
決定の記録は残す形を固定していて、直近7日で 88件、30日で 373件 です。どの案がどの材料から出て、誰が決めたかまで残しています。数え方は「AIの中身」に開いています。
この記録があるおかげで、あとから「なぜこうしたのか」を追えます。説明のためだけでなく、自分たちが忘れないためにも要ります。
ここまでで、人が決めることの線引きを見てきました。次の章は、その線の外側で動き続ける仕組みの話です。落ちたとき、誰が最初に気づくのか。
章と記事の全体は図書館の見取り図で一枚にまとめています。