AIの記憶は多いほど損｜IBMが8モデル検証

公開日:

SHARE

伊東雄歩
監修者 伊東 雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

taolis.net X note Voicy YouTube
  • IBM Researchが8つのAIモデル・585タスクで「エージェントに与える記憶の量」を検証しました
  • 小型モデルは記憶を厳選すると正答率が39.9%→56.0%（+16.1ポイント）に改善
  • 記憶を全部渡す方式では、トークン消費が最大78%増えるケースも
  • すでに性能が頭打ちのモデルは、記憶を足しても効果がゼロでした
  • 検証に使われたALTK-EvolveはGitHubで公開中。日本企業の運用コストにも直結します

AIエージェントに過去の作業ログを全部覚えさせれば賢くなる。そう思ったことはありませんか。IBM Researchが8モデルで検証した答えは「モデルによる」でした。量を間違えると、精度は伸びずAPI料金だけが1.8倍に膨らみます。

IBM Researchの結論は「記憶は薬の量と同じ」

2026年8月18日に公開された検証レポート

2026年8月18日、IBM Researchが「How Much Memory Does Your Agent Actually Need?（あなたのエージェントに本当に必要な記憶はどれくらい？）」というレポートを公開しました。

結論はシンプルでした。「エージェントの記憶はスイッチではなく、モデルに合わせて調整する投与量である」。

薬と同じで、足りなければ効かず、多すぎれば副作用が出ます。その副作用にあたるのがトークン代です。

ここでいう「記憶」は会話履歴のことではない

この研究で扱う記憶は、チャットの会話履歴とは違います。

エージェントが過去にこなした作業の記録（どう考え、どのツールを呼び、どう失敗したかの足あと）から、再利用できる「ガイドライン」だけを抜き出したものです。

生ログを貼り付けるのではなく、「この種の依頼では先に権限を確認する」といった使い回せるコツの形に圧縮します。

モデルの中身（重み）は書き換えず、プロンプトに文章として差し込むだけです。

ALTK-Evolveの仕組みは3ステップ

検証に使われたのは、IBMが開発したALTK-Evolveというオープンソースの仕組みです。動きは3段階に分かれています。

①作業の足あとを丸ごと記録する

まずエージェントの動きを丸ごと拾います。

ユーザーの依頼、AIの思考、呼び出したツール、返ってきた結果。これらをLangfuseのような監視ツール（AIの動作を後から追跡できるツール）でまとめて保存します。

②成功と失敗からルールを蒸留する

次に、記録の中から「一般化できるルール」だけを抽出します。

1回きりの手順書ではなく、別の場面でも通じる原則に変換するのがポイントです。

候補は出現頻度・効果・確からしさで採点されます。使えると判定されたルールだけが残り、重複や低品質なものは自動で捨てられます。

③実行時に必要な分だけ差し込む

実際にタスクが来たとき、システムは今回の依頼に近いガイドラインを上位5件だけ選んでプロンプトに入れます。新入社員に分厚いマニュアル全巻ではなく、今日の業務に関係する5ページだけをクリップして手渡すイメージです。

この「全部渡す」か「選んで渡す」かの違いが、検証の主役になります。

8モデル検証で見えた4つのパターン

検証の舞台はAppWorldというベンチマークです。Gmail、Venmo、Spotify、Amazon、Todoistなど9つの疑似アプリと457個のAPIが並ぶ仮想世界で、エージェントが実務っぽい依頼をこなします。

タスク数は585件。1タスクあたり平均9.5回のAPI呼び出しが必要で、平均1.8個のアプリをまたぐ手強い試験です。

パターン1：非力なモデルは「厳選」が刺さる

gpt-oss-120b（1170億パラメータ）は、記憶なしだと正答率39.9%でした。

ここに関連ガイドラインだけを選んで渡すと、56.0%まで跳ね上がりました。+16.1ポイントの改善です。

ぶれの少なさを測るSGC（同じ依頼の全パターンに成功して初めて加点される厳しい指標）も、21.4%→37.5%へ伸びました。

パターン2：伸びしろのあるモデルは「全部渡し」が勝つ

DeepSeek-V3.2（6710億パラメータ）は79.8%→89.3%（+9.5ポイント）。Claude Opus 4.6は90.5%→94.6%（+4.1ポイント）、SGCは87.5%→94.6%に改善しました。

この層はガイドラインを丸ごと渡した方が成績が良かったのが特徴です。情報量に耐える読解力があるからだと考えられます。

パターン3・4：天井付近はわずか、飽和済みはゼロ

GPT-5.5は92.3%→95.2%で、伸びは+2.9ポイント。元が高すぎて上げ幅が残っていません。

そしてGLM-5（7450億パラメータ）は87.5%のまま、変化ゼロでした。パラメータが最大級でも効果が出ない。ここが今回いちばん意外な結果です。

レポートも「最適な記憶の渡し方はモデルごとに異なり、サイズだけでは決まらない」と結論づけています。

難しいタスクほど効き目が大きい

難易度別に見ると、傾向はさらにはっきりします。

  • やさしいタスク：79.0%→84.2%（+5.2ポイント）
  • 普通のタスク：56.2%→62.5%（+6.3ポイント）
  • 難しいタスク：19.1%→33.3%（+14.2ポイント、相対74%増）
  • 全体平均：50.0%→58.8%（+8.9ポイント）

簡単な仕事ではAIは元から間違えません。記憶が効くのは、手順が長く分岐が多い仕事です。

トークン代の落とし穴：+5%と+78%の差

精度の話だけなら「全部渡せばいい」で終わります。請求書がそれを許しません。

同じモデルでも消費量が10倍違う

gpt-oss-120bのトークン消費を比べると、差は歴然でした。

  • 記憶なし：110Kトークン
  • 厳選して渡す：116Kトークン（+5%）
  • 全部渡す：166Kトークン（+51%）

DeepSeek-V3.2はもっと極端でした。148Kトークンが263Kトークンへ、+78%に膨らんでいます。

「+16.1ポイントをコスト+5%で買う」という選択肢

最大の精度改善（+16.1ポイント）を叩き出したのは、トークンが5%しか増えない厳選方式でした。

性能を上げるのに、必ずしも推論コストを増やす必要はない。レポートはそう指摘しています。

月10万円のAPI費用を使うチームなら、全部渡しに切り替えた瞬間に月17万円台。厳選方式なら10万5000円で済みます。

Mem0・Zep・Lettaとの違い

「エージェントに記憶を持たせる」ツールは他にもあります。代表的な3つと並べます。

  • Mem0：どんな構成にも後付けできるベクトル型の記憶層。GitHubスター約6万で最大手。無料枠は1万メモリ、有料は月19〜249ドル
  • Zep：時間とともに変わる事実を扱う知識グラフ型。スター約2.8万、Flexプランは月125ドル。長期記憶テストLongMemEvalで63.8%（Mem0は49.0%）
  • Letta：モデル自身が記憶を出し入れするOS型ランタイム。MemGPT論文の系譜でスター約2.4万。自己ホストは無料、Proは月20ドル
  • ALTK-Evolve：作業ログからガイドラインを蒸留する自己学習型。GitHubで公開、論文はarXiv 2603.10600

前の3つは基本的に「何を覚えるか」を設計する道具です。対してALTK-Evolveの新しさは、「どれだけ渡すか」を最適化の対象にした点にあります。

記憶を貯める技術は成熟してきました。次の勝負どころが投与量の調整に移った、というのが今回の示唆です。

日本企業の現場で何が変わるか

抽象的に聞こえるかもしれません。3つの現場を想像してみてください。

経費精算エージェントが毎月同じミスをする

ある企業の経理部が、経費精算の一次チェックをAIエージェントに任せているとします。

ところが交通費の日付またぎ処理で、毎月きまって同じ差し戻しが出ます。従来は担当者がプロンプトに注意書きを足していました。

ALTK-Evolve型なら、失敗ログから「日付またぎは前日扱い」というルールが自動で抽出され、次回から差し込まれます。

サポート窓口で「安いモデル」を活かす

問い合わせの一次対応を、コスト重視で小型モデルに任せているチームもあります。

今回の検証は、こうしたチームにこそ朗報です。非力なモデルほど厳選記憶の伸び幅が大きい。上位モデルへ乗り換える前に、記憶の渡し方を見直す価値があるということです。

最新モデルに乗り換えたのに効果が出ない

逆のケースもあります。最上位モデルを導入して社内ナレッジを大量に流し込んだのに、精度が変わらない。

GLM-5の結果は、それが設定ミスではなく「飽和」という現象かもしれないと教えてくれます。

アクセンチュアの調査では、AIで全社変革を実現できた日本企業は13%。世界平均23%と差が開いています。投資の効き目を測る物差しが増えることは、この差を埋めるうえで意味があります。

よくある質問（FAQ）

Q1. ALTK-Evolveは日本語環境でも使えますか？

A. GitHubで公開されているオープンソースの仕組みで、特定言語に依存する設計ではありません。ただし検証は英語のAppWorld上で行われており、日本語業務での効果は各社での確認が必要です。

Q2. 小さいモデルでも記憶を足せば大型モデルに勝てますか？

A. 追いつくところまではいきません。gpt-oss-120bは56.0%まで伸びましたが、Claude Opus 4.6の94.6%とは大きな差があります。あくまで「同じモデルをどこまで引き出せるか」の話です。

Q3. 自社のエージェントに導入するとき、まず何をすべきですか？

A. 実行ログを残す仕組みを先に整えることです。ガイドラインは過去の足あとから作られるため、記録がなければ何も蒸留できません。追跡ツールの導入が出発点になります。

Q4. 「全部渡す」と「厳選して渡す」のどちらを選べばいいですか？

A. いま使っているモデルの正答率次第です。すでに高精度なら全部渡し、伸びしろの大きい小型モデルなら厳選型が有利でした。両方を小さく試して比較するのが確実です。

まとめ

  • IBM Researchが8モデル・585タスクで記憶量を検証（2026年8月18日公開）
  • 記憶は「入れるか入れないか」ではなく、モデルに合わせて量を調整するもの
  • gpt-oss-120bは厳選記憶で39.9%→56.0%（+16.1ポイント）、トークン増は+5%のみ
  • 全部渡し方式ではトークンが最大+78%に膨張。精度とコストは比例しない
  • GLM-5は改善ゼロ。パラメータの大きさは効果を保証しない
  • 難しいタスクほど効果が大きい（19.1%→33.3%）

自社でAIエージェントを運用しているなら、モデルを乗り換える前に「渡している記憶の量」を一度測り直してみてください。

参考文献

前の記事

生成AIは部長が最多｜毎日使うのは3人に1人