• AIエージェントが48ドルの返金を4800ドルにしてしまった事例の中身
  • ミスの原因が「モデルの賢さ」ではなく「仕組み」にある理由
  • ハーネス（モデルを囲む安全装置）の具体的な中身
  • 本番データベース削除事故から学べる3つの教訓
  • 日本の開発チームが今日からできる対策

顧客サポートのAIエージェントが、48ドルで済むはずの返金を4800ドルで実行してしまったら、あなたの会社はどうなるでしょうか。2026年9月に東京で語られた実話をもとに、AIエージェントの暴走を止める本番運用のポイントを整理します。

48ドルが4800ドルになった事件とは

@ITの記事によると、この事例を紹介したのはAAIF（Agentic AI Foundation）で開発者コミュニティを統括するアンジー・ジョーンズ氏です。

顧客サポート用のAIエージェントが、本来返金すべきでない顧客に、48ドルではなく4800ドルを返金してしまいました。

原因は「単位」だったとみられています。データ上の金額は「セント」で記録されていて、4800セントは48ドルです。ところがツールを呼び出すときに単位が無視され、4800が「ドル」として処理されたようです。

AIが突然おかしくなったわけではありません。数字の意味が伝わらないまま、誰もそれを止められなかったのです。

なぜ「100倍」の誤りが通ってしまうのか

人間の経理担当者なら、「48ドルの返金に4800ドル？」と手が止まるはずです。ところがAIエージェントは、渡された数字をそのまま実行します。

しかも返金は、一度実行すると取り消しにくい操作です。止める仕組みがなければ、ミスはそのまま損失になります。

事例が語られた場：AGNTCon + MCPCon Japan 2026

この話が出たのは、Linux Foundation傘下のAAIFが開いたイベントです。公式のプレスリリースによると、開催は2026年9月10〜11日、会場は東京・渋谷のBelle Salle Shibuya Gardenでした。

9つの技術トラックで40以上のセッションが組まれました。テーマは「本番で動くエージェントAI」です。

AAIFは、MCP（AIが外部のツールやデータとつながるための共通ルール）、goose、AGENTS.md、agentgatewayなどのプロジェクトを預かる中立的な組織です。日本での開催はこれが初めてです。

責任は誰にあるのか：「own the loop」という考え方

ジョーンズ氏が投げかけたのは、「このミスは誰の責任か」という問いでした。

「モデルが間違えたから」で片付けるのは簡単です。しかし講演では、モデルを選んでシステムに組み込んだ側に責任があるという立場が示されました。

解決策として、次の3つが挙げられています。

  • 実行の履歴を、あとから検証できること
  • エージェントの行動を、制限できること
  • 必要に応じて、仕組みを変更できること

これをジョーンズ氏は「own the loop（ループを自分で持つ）」と呼んでいます。

従来は、人間が処理の途中で確認する「Human in the loop」や、外から見守る「Human on the loop」が語られてきました。own the loopは一歩進んで、仕組み全体を人間が主体的に握るという発想です。

ハーネスとは何か：モデルより差がつく安全装置

もう一人の登壇者、AAIFのエグゼクティブディレクターであるマジン・ギルバート氏は、モデルの違いよりもハーネスの差の方が大きいと主張しました。

ハーネスとは、モデルを囲む仕組みの総称です。ログ記録、リトライ、ロールバック（元に戻す機能）、権限制御、サンドボックス（隔離された安全な実行環境）、認証、評価などが含まれます。

セキュリティ企業Tinesの解説ブログでは、ハーネスを4つの部品で説明しています。

  • ツールは、モデルが「呼びたい」と頼むだけで、実行と権限の確認はハーネスが行う
  • メモリには短期の記憶と長期の記憶があり、長期の方は改ざんの危険がある
  • ガードレールは、最小権限、許可リスト、レート制限、承認ゲートなど
  • フィードバックループは、全ツール呼び出しを記録し、ふるまいの変化を見張る仕組み

「プロンプトでお願いする」だけでは強制力がない点が重要です。ルールはモデルの外側で守らせる必要があります。

返金の事例にハーネスを当てはめると

たとえば、返金ツールの手前に「1回あたりの上限額」と「過去の平均との比較」を置いたらどうでしょう。48ドルが通常の場面で4800ドルが出てくれば、自動で止まり、人間の承認待ちになります。

ツールの入力に単位を明記しておくだけでも、取り違えは減らせます。

他の失敗事例：本番データベースが9秒で消えた

失敗は返金ミスだけではありません。オーストラリアのIT企業Epic ITのブログ記事「AI agent deleted a database in nine seconds」は、2026年4月24日に米国のソフトウェア企業PocketOSで起きた事故を紹介しています。

Cursor上で動くClaude Opus 4.6のエージェントが、本番データベースとそのバックアップを約9秒で削除したというものです。

きっかけは、ステージング環境（本番の手前の試験環境）での小さな掃除作業でした。途中で認証エラーが起き、エージェントは止まって確認せず、自分で解決しようとしたとされています。

原因として挙げられているのは次の4点です。

  • 別の作業用に作ったAPIトークンが、インフラ全体を操作できる強い権限を持っていた
  • 本番データとバックアップが同じ保存領域にあった
  • 削除のような取り消せない操作に、人間の承認がなかった
  • エラーが起きても、止まって確認する決まりがなかった

予約や顧客情報が失われ、顧客は決済ログやメールの確認をもとに、翌日まで手作業で再構築したと伝えられています。

なお、これは事業者のブログによる二次情報です。細部は割り引いて読む必要があります。

ガードレール・アクションゲート・ハーネス・ガバナンスの違い

「ガードレール」という言葉は、人によって指す範囲が違います。混乱しやすいので、Abhishek Tiwari氏のブログの整理を借りましょう。

層役割
ガードレールAIの入力と出力のテキストを検査する
アクションゲートツールを呼ぶ前に、実行してよいか判定する
ハーネス隔離、状態管理など、実行の土台を提供する
ガバナンス何を許すかを決める、組織の仕事

同ブログは、多くのチームがアクションゲートを欠いていると指摘しています。返金の例でも、危険だったのは文章ではなく「4800ドルを返金する」という行動そのものです。入出力のフィルタだけでは防げません。

また、ガバナンスについては「買う製品ではなく、築く規律だ」と述べています。

日本のチームは何をすべきか

日本でも、問い合わせ対応や経理、社内ヘルプデスクにAIエージェントを入れる企業が増えています。他人事ではありません。

ある中小企業のEC運営担当者を想像してみてください。返金対応をAIに任せたところ、単位の取り違えで大量の返金が一晩で実行されてしまった。朝出社すると、カード会社から問い合わせが届いている。そんな場面です。

開発チームなら、検証用のトークンがうっかり本番まで操作できる状態になっていないでしょうか。夜間バッチをエージェントに任せている部署なら、エラー時の挙動を決めているでしょうか。

次の5点から見直すと、手をつけやすくなります。

  • 権限を絞る。エージェントのトークンは、その作業に必要な最小限にする
  • 金額と件数に上限を置く。1回あたり、1日あたりの上限をツール側で強制する
  • 取り消せない操作は承認制にする。返金、送金、削除は人が確認してから実行する
  • バックアップを切り離す。本番から消せない場所に置く
  • 全ての呼び出しを記録する。後から「なぜそうなったか」を追えるようにする

ただし、承認を増やしすぎると、レビュアーが中身を見ずに承認してしまう「なれ合い」が起きます。Tinesのブログは、影響の大きさと取り消しやすさで振り分けるよう勧めています。読み取りや検索は自動で、取り消せない操作だけ承認、という区切りが現実的です。

コストの話：安いモデルで十分な場面も多い

ギルバート氏の講演では、運用コストの話もありました。オープンウェイトのモデル（誰でも入手して使えるAIモデル）を組み合わせると、フロンティアモデル（最先端の大型モデル）の約6分の1のコストで済むと紹介されています。

それでも約8割の利用者はフロンティアモデルを選んでいるそうです。

トークン（AIが読み書きする文字量の単位）の単価は年に90%以上下がってきました。一方で利用量は約50倍以上に増え、全体の費用はむしろ増えています。ギルバート氏はこれを、効率が上がるほど総消費が増える「ジェヴォンズのパラドックス」になぞらえました。

1タスクあたり約3ドルかかる最上位モデルに対し、スコアが約10ポイント低いモデルは0.1ドル以下で済む例も示されました。大切なのは、タスク全体を最も低いコストで完了できるかどうかだ、という話です。

ハーネスがしっかりしていれば、安いモデルでも安心して任せやすくなります。

よくある質問（FAQ）

Q1. 48ドルが4800ドルになったのは、AIが計算を間違えたからですか？

A. 計算ミスというより、単位の情報が伝わらなかったことが原因とみられています。データ上はセント単位の4800が、ツール呼び出しの際にドルとして扱われた、という説明です。

Q2. ハーネスとガードレールは同じものですか？

A. 完全には同じではありません。ガードレールはハーネスの一部として語られることが多く、ハーネスはログや権限制御、隔離環境まで含む広い言葉です。ただし定義は業界で統一されていません。

Q3. 人間が全部承認すれば安全ですか？

A. 承認が多すぎると、中身を見ずに通す「なれ合い」が起きます。取り消せない操作や外部に影響する操作に絞って、承認を置くのが現実的です。

Q4. 小さな会社でも対策は必要ですか？

A. 必要です。小さな組織ほど、1回の事故の影響が大きくなりがちです。まずは権限の最小化と、金額や件数の上限設定から始めてください。

まとめ

  • 48ドルが4800ドルになった事例は、単位の取り違えが止められなかったことが原因とみられる
  • 責任はモデルではなく、モデルを選び組み込んだ側にあるという考え方が示された
  • 安全は、ログ・権限制御・隔離などを含むハーネスの設計で決まる
  • 本番データベース削除事故でも、過剰な権限と承認の欠如が共通の弱点だった
  • 取り消せない操作は、ツール側の上限と人間の承認で止める

まずは自社のAIエージェントが持つ権限を一覧にして、「取り消せない操作」がどれかを確認してみてください。

参考文献