エージェントは「考える → やる → 結果を見る」を回します。結果が思わしくないと、考え直して次の手を打ちます。ここで、材料が前と同じままだと同じ結論に戻ります。人が同じ壁に何度もぶつかるのと似た形です。
問題は、機械の速さで繰り返すことです。人なら三回で気づくところを、数百回続けます。費用は回数ぶんかかり、書き込む道具を持っていれば、そのぶん残ります。
実際に多いのは、外部への照会が失敗している場面です。AIには「失敗した」としか返らないので、原因が見えません。人なら別の手を考えますが、材料が同じままなら、選ぶ手も同じになります。
回数 ── 何手まで試すか。当社は用途ごとに決めています。
時間 ── 何分で打ち切るか。止まったのか考えているのかは、外からは見えません。
費用 ── いくらまで使えるか。使った量で決まるので、上限は金額で置けます（第9章 費用）。
自律的に動く仕組みの利点と注意は IPA の解説にまとまっています。IPA「SDS技術コラム：AIエージェント」↗
三つとも要ります。回数だけでは、一手が長い場合に止まりません。時間だけでは、短い手を大量に打つ場合に効きません。
費用の上限は、いちばん後ろで効きます。回数と時間をすり抜けた場合でも、金額で止まります。
上限で止めても、途中まで書いたものは残ります。ですから一手ずつ取り消せる形にしておきます。当社がやっているのは三つです。上書きせず追記の形で残す。変えるときは変更前を控える。まとめて実行せず、一件ずつ区切る。
戻せない操作は、そもそも道具として渡しません（B-04-1 何を渡し、何を渡さないか）。止め方の設計は、渡す道具を決める段階から始まっています。
まとめて実行しないのは、止まったときに「どこまで済んだか」を数えられるようにするためです。百件を一度に書くと、四十件目で止まったことが分かりません。一件ずつ区切ってあれば、続きから始められます。
何を呼んだか、どの値を渡したか、何が返ったか。一手ごとに残します。理由は単純で、追えないものは止められないからです。「どこかで止まっています」では、どこを直せばよいか決まりません。
記録は、直すための材料にもなります。当社はエラー 3,521件 から 3,518件、99.9% を教訓として抜き出し、次の判断に回しています。責める材料ではなく原材料として扱う、という決めごとです。
上限で止めるところまで作ると、次は「止まったことに気づく仕組み」が要ります。当社では 221本 の自動巡回が回っていて、死活の確認は 約20分おき です。人が見に行くのではなく、止まったものだけが上がってきます。
この考え方は第8章 監視と自己修復にまとめました。検知だけを足すと、直す側が追いつかずに一覧が溜まります。検知と、解消の手順は、同時に用意します。
個別の上限とは別に、全体を止める栓を一つ用意しています。人が押せる場所に置き、押したら新しい動きは始まりません。使う場面はほとんどありませんが、無いままでは動かさないという順序にしています。
自動化の可否を決めるとき、当社が最初に見るのは効果ではなく、止め方があるかどうかです。国の指針でも、人が関与できる形を保つことが求められています。
上限は三種類ついていますか。／一手ずつ戻せますか。／全部の手が記録に残りますか。／止まったとき、誰に上がりますか。
四つのうち一つでも空欄なら、動かしません。
人の関与の考え方は国の指針に整理されています。経済産業省・総務省「AI事業者ガイドライン」↗
止め方が決まったら、次は記憶です。何を忘れてよく、何を残すのか。
章と記事の全体は図書館の見取り図で一枚にまとめています。