• 「推測しないで」という一文で、AIのでっち上げが70.7%から20.2%に減った
  • 検証したのはGemini・GPT・Claudeなど16モデル、1,100件以上の空欄
  • それでも5回に1回は捏造が残り、有料スクレイピングAPIでは最大67%
  • 別のAIに答えをチェックさせると、捏造の約8割を見抜けた
  • 明日から使えるプロンプトの書き方と、日本の業務での注意点

AIにWebページから価格や日付を抜き出してもらったら、ページに書いていない数字が入っていた。そんな経験はありませんか？

2026年9月27日に公開された実験で、たった一文の指示がこの「でっち上げ」を約3分の1に減らすとわかりました。数字の中身と、実務での使い方を解説します。

「推測しないで」の一文で何が起きたのか

実験を行ったのは「Earn an Honest Dollar」というサービスです。AIエージェント同士が仕事を売り買いするマーケットプレイス（市場）を運営しています。

検証したのは、AIにWebページを読ませて「商品名」「価格」「発売日」などの項目を抜き出させるタスクです。

プロンプト（AIへの指示文）には、次の一文を入れた場合と入れない場合を用意しました。

「ページに値がない項目にはnullを使ってください。推測しないでください」

null（ヌル）は「値がない」ことを表すプログラムの記号です。つまり「わからない欄は空欄のままでいい」とAIに許可したわけです。

結果は明らかでした。一文がないとき、AIは本来空欄であるべき573項目のうち405項目（70.7%）に何かしらの値を作って埋めました。一文を入れると、574項目中116項目（20.2%）まで下がりました。

しかも16モデルすべてで、一文を外すと捏造が増えています。特定のAIだけの癖ではなく、ほぼ共通する性質だと言えそうです。

実験の仕組み：「わざと情報を消したページ」でAIを試す

双子のページとおとりの情報

この実験の工夫は、ほぼ同じ内容の「双子のページ」を使ったところです。

商品ページやレシピ、記事ページなど7種類のページを用意し、それぞれ2枚1組で合計42組、84ページを作りました。片方のページからは、1行だけ情報が消されています。

さらに、ページには「おとり」も置かれました。古い価格や、関係のない人の名前などです。

正直なAIなら、消された項目は「null」と答えるはずです。そうでないAIは、おとりを拾ったり、それらしい値を作ったりしてしまいます。

「元値493ドル」のわな

象徴的だったのが、価格のおとりです。ページには「Was $493.00」、つまり「以前の価格は493ドル」とだけ書かれていて、今の価格は載っていません。

一文がない条件では、16モデル全部が493ドルを「現在の価格」として答えました。一文を入れると、間違えたのは1モデルだけだったと報じられています。

値札の「定価」に赤線が引かれたセール品を思い浮かべてください。人間なら赤線の数字が今の値段でないとわかります。でもAIは「空欄で出すより何か書いたほうがいい」と考えてしまうのです。

モデル別の結果：優秀なAIと苦手なAI

一文を入れた条件でのモデル別成績も公開されています。成績がよかったのは次の3つです。

  • Gemini 3.8 Flash：36項目中1項目だけ捏造
  • GLM 5.3：35項目中1項目
  • Hy3：36項目中3項目

一方、Solar Pro 4は一文を入れても36項目中19項目を捏造しました。一文なしでは36項目中35項目で、ほぼすべて埋めています。

ほかにもGPT-6 Luna、Sonnet 5、Haiku 4.5、DeepSeek V4.1 Flash、Qwen 3.8 27B、Gemma 4 31Bなど、計16モデルが検証されました。

注目したいのは、値段の高い最上位モデルが必ずしも上位ではないことです。「賢さ」と「わからないと言える正直さ」は別の能力だと考えたほうがよさそうです。

有料スクレイピングAPIとの比較

実験では、Webページの情報抜き出しを専門にする有料API（外部から呼び出せるサービス）3つも試されました。いずれも無料枠で、同じ一文を入れた条件です。

サービス捏造した項目割合
Firecrawl36項目中24項目約67%
ScrapingBee36項目中16項目約44%
ScrapeGraphAI31項目中7項目約23%
（参考）Gemini 3.8 Flash36項目中1項目約3%

Firecrawlの24件は、すべてページ上のおとりをそのまま写したものでした。専用ツールだから安心、とは限らないわけです。

ただし実験側も「有料プランでは結果が違う可能性がある」と断っています。サービスの優劣を決める材料ではなく、「自分の使い方で試すべき」という警告として読むのが適切です。

なぜAIは空欄を嫌うのか

そもそも、なぜAIは知らないことまで答えてしまうのでしょうか。

OpenAIは2025年9月の論文「Why language models hallucinate」で、原因の一つを評価の仕組みにあると説明しました。多くのテストは正解数だけを数えるため、「わかりません」は0点になります。

マークシートの試験で、空欄にするより適当に塗ったほうが得をするのと同じ構造です。こうして鍛えられたAIは、自信がなくても何か答える癖がつきます。

Anthropicも公式ドキュメントで、ハルシネーション（AIがもっともらしいウソを出力すること）を減らす基本策として「Claudeに『わからない』と言う許可を与える」ことを挙げています。

今回の実験は、この昔からのコツが最新の16モデルでも効くことを、数字で確かめた形です。

二重チェックで捏造の8割を発見

一文を入れても、5回に1回は捏造が残ります。そこで実験では、別のAIに答えを検証させる方法も試しました。

GPT-6 Lunaをチェック役にすると、捏造された値49件のうち38件（約78%）を見抜きました。しかも、正しい値47件を誤って却下したケースはゼロでした。

費用は全体で0.0049ドル、1円にも届きません。より安いJev 1.13では、見抜けたのは49件中23件でした。

ただしJevは、「調理時間」を「下ごしらえ時間」として答えるような、意味が近い取り違えを6件中1件も見抜けませんでした。チェック役にも得意・不得意があります。

日本の仕事でどう活かせるか

日本でも、請求書の読み取りや競合サイトの価格調査などにAIを使う会社が増えています。今回の知見は、そのまま現場で使えます。

ケース1：ECサイトの価格調査

ある通販会社の担当者が、毎朝ライバル店50社の価格をAIで集めているとします。セール中の店では「通常価格」と「特価」が並んでいます。

一文がなければ、AIは今回の493ドルのように、消された特価の代わりに通常価格を入れるかもしれません。その数字をもとに値下げすれば、利益を無駄に削ることになります。

ケース2：経理の請求書入力

月末に数百枚の請求書をAIで読み取る経理担当者を想像してみてください。支払期日が書かれていない請求書もあります。

AIが「月末払い」とそれらしく埋めてしまうと、確認の手間がかえって増えます。空欄なら「要確認」として人間に回せます。

ケース3：採用の応募書類整理

人事担当者が、応募者の職務経歴書から「前職の年収」を抜き出させる場面も考えられます。書かれていない年収をAIが推測で埋めれば、評価を誤らせる原因になります。

どのケースでも大事なのは、「わからない」を正しい答えとして扱う設計です。

実務では、次の3点をセットにすると効果的です。

  • プロンプトに「書かれていない項目はnull（または『不明』）。推測しない」と明記する
  • 出力の形式を決め、空欄を許す項目をはっきりさせる
  • 金額や日付など重要な項目だけ、別のAIか人間が元ページと照合する

よくある質問（FAQ）

Q1. 日本語のプロンプトでも効果はありますか？

今回の実験は英語の指示で行われています。日本語で同じ効果が出るかは検証されていません。ただ「わからなければ空欄で」と明示する考え方自体は、Anthropicなども推奨する一般的なコツです。自社のデータで試してみるのがおすすめです。

Q2. ChatGPTやGeminiで普通に質問するときにも使えますか？

今回の検証はWebページからの情報抜き出しに限られます。ただ「確かでないことは『わからない』と答えてください」と添えるのは、ふだんの質問でも手軽な対策になると言われています。

Q3. この一文を入れればハルシネーションはなくなりますか？

なくなりません。一文を入れても平均で約20%の項目が捏造されました。重要な数字は必ず元の情報と照らし合わせてください。

Q4. 実験結果はどこまで信頼できますか？

実験側は「各モデル1回ずつの実行で、繰り返しはしていない」と明記しています。ページも人工的に作ったものです。傾向をつかむ材料としては有用ですが、細かい順位は変わる可能性があります。

Q5. 「わからない」が増えすぎて困ることはありませんか？

今回の検証では、チェック役のGPT-6 Lunaは正しい値を1件も却下しませんでした。ただし指示の強さや業務によっては空欄が増えることも考えられます。空欄の割合も一緒に記録しておくと安心です。

まとめ

  • 「nullを使って。推測しないで」の一文で、捏造は70.7%から20.2%に減った
  • 16モデルすべてで、一文がないと捏造が増えた
  • Gemini 3.8 FlashやGLM 5.3はほぼ正直、Solar Pro 4や一部の有料APIは苦手
  • 別のAIでチェックすると、捏造の約8割を1円未満で見抜けた
  • 単発・人工ページの実験なので、自社の業務で必ず試すことが大切

まずは、いま使っているAIへの指示文に「書かれていないことは推測せず空欄に」という一文を足すところから始めてみてください。

参考文献