4bit圧縮AIが元モデル超え|9項目中7勝

伊東雄歩
監修者 伊東 雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

taolis.net X note Voicy YouTube
  • AIモデルを4bitに圧縮したのに、元の大きいモデルより成績が良くなる新手法「Quantization-Aware Healing(QAH)」が公開されました
  • 9種類のテストのうち7つで、圧縮前のモデルと同等以上のスコアを記録しています
  • 特に長い文章の読解で+7.4点、数学で+5.6点と大きく伸びました
  • 開発したのはスペインのユニコーン企業Multiverse Computing。2026年7月に約860億円を調達したばかりです
  • 実現すれば、社内サーバーやパソコンで動くAIの選択肢が一気に広がります

AIを小さく圧縮すると、その分だけ頭が悪くなる。これまでずっと「当たり前」とされてきた常識です。ところが2026年8月、その常識をひっくり返す研究結果が公開されました。データを4分の1に削ったのに、元のモデルより賢くなったというのです。何が起きたのか、順番に見ていきます。

4bitに縮めたら、元より賢くなった

2026年8月25日、AIモデルの共有サイト「Hugging Face」に1本の技術ブログが公開されました。

タイトルは「Quantization-Aware Healing(量子化を前提とした修復)」。論文自体は8月21日にarXivへ投稿されています。

まず用語を整理しておきます。量子化とは、AIの中身にぎっしり詰まった数値を、ざっくりした数値に置き換えてファイルサイズを小さくする技術です。

写真を高画質JPEGから低画質JPEGに保存し直すイメージに近いです。容量は減りますが、細部はぼやけます。

AIの世界でも同じことが起きます。16bitで保存されていた数値を4bitまで削ると、メモリは約4分の1で済む代わりに、推論力や計算力が落ちるのが普通でした。

今回の研究チームは、その前提を正面から否定しています。「圧縮された4bitモデルが、元の精度のモデルより低性能である必要はない」というのが彼らの主張です。

9つのテストで7勝 数字で見る実力

実験に使われたのは、OpenAIが無償公開しているgpt-oss-120Bというモデルです。

これを約半分の60B(正確には587億パラメータ)まで構造ごと削り、さらにMXFP4という4bit形式へ圧縮しました。

その上でQAHによる「修復」をかけた結果が、以下のスコアです。左が圧縮前、右が圧縮+修復後になります。

  • AA-LCR(長い文書の読解):35.3 → 42.7(+7.4)
  • AIME 2025(数学オリンピック級の問題):70.7 → 76.3(+5.6)
  • Aider(コード修正):38.2 → 40.9(+2.7)
  • τ²-bench(ツール操作):59.4 → 61.7(+2.3)
  • LiveCodeBench(コード生成):66.0 → 66.5(+0.5)
  • MMLU-Pro(総合知識):−0.2
  • SciCode(科学計算コード):−1.4
  • GPQA Diamond(大学院レベルの科学):69.0 → 67.4(−1.6)
  • IFBench(指示への忠実さ):−3.4

9項目のうち7項目で圧縮前と同等以上、というのが今回の結果です。

注目したいのは、伸びた分野の顔ぶれです。長文読解と数学という、いちばん壊れやすいはずの能力が大きく伸びています。

しかも学習の効率も違いました。従来手法が700ステップかけてたどり着く性能に、QAHは約100ステップで届いています。7分の1の手間です。

なぜ縮めたのに賢くなるのか

従来のやり方は「二段階で傷つける」

これまでの一般的な手順は、まずモデルの構造を削り、次に数値を4bitへ落とす、という2ステップでした。

問題は、この2つがそれぞれ独立してモデルを傷つける点にあります。

1回目の圧縮でぼやけた答えを、2回目の圧縮でさらにぼやけさせる。劣化した写真を、もう一度低画質で保存し直すようなものです。

そして修復のときも、参照するのは「1回目で傷ついた後のモデル」でした。傷んだ手本をまねている以上、傷は消えません。

QAHは「傷んでいない先生」を直接まねる

QAHのアイデアはシンプルです。修復のときに参照する手本を、圧縮前のオリジナルモデルに戻したのです。

技術的には、圧縮済み4bitモデル(生徒)が、無傷の元モデル(先生)の出力分布を直接まねるように学習させます。専門的にはKLダイバージェンス損失という指標を使った蒸留です。

ここで面白いことが起きます。4bitという「粗さ」が、むしろ学習のヒントになるのです。

ざっくりした数値しか使えない生徒は、細かい丸暗記ができません。だから重要な部分だけを掴もうとします。研究チームはこれを「量子化は効率化のために払う税金ではなく、モデルに教え直すための追加のチャンスになる」と表現しています。

学習に使われたのはNVIDIAのNemotronとSmolTalk 2を混ぜたデータセットで、ハードウェアはNVIDIA H200を8ノードという構成でした。

作ったのはスペイン発の「量子ひらめき」企業

この研究を出したのは、スペイン北部ドノスティア(サンセバスチャン)に本社を置くMultiverse Computingです。

名前を初めて聞く方も多いと思いますが、いま欧州で最も注目されているAI企業のひとつです。

同社は2026年7月、シリーズCで5億7000万ドル(約860億円)を調達しました。評価額は17億ドル(約2600億円)で、シリーズBの5倍です(1ドル150円換算)。

出資者にはサンタンデール銀行系のファンド、HP、Orange Ventures、Tikehau Capitalなどが並びます。累計調達額は約8億ドル(約1200億円)に達しました。

主力技術はCompactifAIという圧縮エンジンです。量子物理の計算で使われるテンソルネットワークという数学を応用し、学習済みモデルの「無駄」を整理して取り除きます。

同社によれば、モデルサイズを80〜95%削っても精度の低下はわずかとのことです。顧客はIberdrola、Bosch、カナダ銀行など100社を超えます。

今回の手法で作られたHypernova-60Bは、Apache 2.0ライセンスで無償公開されています。商用利用も可能です。

評価機関Artificial Analysisの調査では、知能指数29超かつ60B以下という条件を満たした唯一のモデルであり、欧州発として唯一「最も魅力的な象限」に入った、と報じられました。

従来の量子化手法と何が違うのか

4bit圧縮の手法はすでにいくつも存在します。代表的なものと比べてみます。

  • GPTQ / AWQ:学習後に一気に圧縮する方式(PTQ)。手軽で速いが、4bit以下では品質低下が目立ちやすい
  • QAT(量子化対応学習):学習中に低精度をシミュレートして慣らす方式。GoogleのGemma QATが有名で、llama.cppでの品質劣化を約54%減らした実績がある
  • QAH(今回の手法):圧縮済みモデルを、無傷の元モデルから直接学び直させる方式。学習ステップが約7分の1で済む

GPTQやAWQが「圧縮の上手さ」を競っているのに対し、QAHは「圧縮した後の教え直し方」を変えた点が新しいところです。

QATとの違いも押さえておきたいポイントです。QATは「量子化しても壊れないように鍛える」発想でした。QAHは「量子化した状態でゼロから教え直す」発想に近いといえます。

ちなみに、手元のパソコンで動かすならGGUF形式(特に公式QAT版)、サーバーで大量の同時アクセスを捌くならAWQ、という使い分けが2026年時点では定番になっています。QAHはこの選択肢に「圧縮モデルそのものを高品質に作る」という新しい層を足す位置づけです。

日本のユーザーと企業に何が起きるか

この話、遠い海外の研究に見えて、実はかなり身近な影響があります。

元になったgpt-oss-120Bは、MXFP4圧縮のおかげで80GBのGPU1枚(H100など)で動きます。それでも80GBのGPUは1枚あたり数百万円の世界です。

これが半分のサイズで同等以上の性能になるなら、必要な機材のハードルは目に見えて下がります。

国内の事情も押さえておきましょう。企業の約7割が、生成AIによる社内情報の漏えいを懸念していると報告されています。

だからこそ、社内サーバーでAIを動かす「ローカルLLM」への関心が高まっています。導入費はサーバーで50〜500万円、構築支援で100〜300万円が相場です。月10万円以上のAPI費用がかかる規模なら、1〜2年で元が取れるとされています。

具体的にどう効くのか、3つの場面で考えてみます。

1つめは、地方の中小製造業です。図面や検査記録は絶対に外に出せません。これまでは「外部APIは論外、社内GPUは高すぎる」で止まっていました。同じ性能が半分のGPUで動くなら、サーバー1台の予算が現実的な数字に収まります。

2つめは、病院の電子カルテ要約です。患者データはクラウドに送れません。今回伸びたAA-LCR(長文読解)は、まさに長いカルテを読み解く能力に直結します。数十ページの経過記録を要約する用途と相性が良い分野です。

3つめは、社内の経理チェックです。月末に数百件の請求書を1枚ずつ突き合わせる作業を想像してみてください。ツール操作の指標τ²-benchが伸びたということは、会計ソフトを自分で叩いて処理するAIが作りやすくなったことを意味します。

日本語対応について補足すると、Hypernova-60Bの土台であるgpt-oss-120Bは多言語に対応しており、日本語も扱えます。ただし日本語専用のチューニングはされていないため、国産LLMほどの日本語らしさは期待しすぎないほうが無難です。

手放しでは喜べない4つの注意点

ここまで良い話が続きましたが、研究チーム自身が限界も正直に書いています。

1つめは比較の不足です。「修復済みの16bitモデルから蒸留した場合」との直接比較が行われていません。つまり「元モデルを手本にしたから勝てた」と言い切るには材料が足りません。

2つめは評価の回数です。各テストは1回ずつしか実施されておらず、誤差の範囲が示されていません。問題数が少ないベンチマークも含まれます。

3つめは適用範囲です。検証されたのはgpt-oss系のMoE(複数の専門家AIを切り替える構造)モデルを、MXFP4形式に圧縮したケースだけです。

4つめは再現性です。圧縮の核であるCompactifAIは同社の独自技術で、非公開です。他の圧縮手法でも同じ効果が出るかは、まだ誰にも分かりません。

とはいえ、モデル自体はApache 2.0で公開されています。第三者が触って確かめられる状態にあることは、素直に評価してよいところです。

よくある質問(FAQ)

Q1. 量子化すると性能が落ちるという話は、もう古いのですか?

まだ一般論としては有効です。今回の成果は「特定の条件下では逆転しうる」ことを示した段階にとどまります。市販の量子化モデルを何も考えずに使えば、やはり劣化するのが普通です。

Q2. 自宅のパソコンでHypernova-60Bを動かせますか?

4bitでも重みだけで数十GB規模になるため、一般的なゲーミングPCでは厳しいのが実情です。ただしGGUF形式も公開されており、メモリを多く積んだMacやマルチGPU環境なら選択肢に入ります。

Q3. 無料で商用利用できますか?

Hypernova-60BはApache 2.0ライセンスで公開されています。改変も再配布も商用利用も認められる、かなり寛容なライセンスです。

Q4. 「量子コンピューター」で圧縮しているのですか?

いいえ。使われているのは量子物理の分野で発展したテンソルネットワークという数学であり、計算自体は普通のGPUで行われます。量子コンピューターは不要です。

Q5. 日本語の性能はどうですか?

公開されているベンチマークは英語中心のため、日本語での正確な比較データはまだありません。土台のgpt-oss-120Bが多言語対応なので日本語も扱えますが、実務投入前に自社データで試すことをおすすめします。

まとめ

  • Quantization-Aware Healing(QAH)は、4bit圧縮モデルを「無傷の元モデル」から直接学び直させる新しい修復手法です
  • gpt-oss-120Bを半分+4bitに圧縮したモデルが、9つのテストのうち7つで圧縮前と同等以上を記録しました
  • 長文読解で+7.4点、数学で+5.6点と、壊れやすい能力ほど大きく伸びています
  • 学習ステップは従来手法の約7分の1、重みメモリは約4分の1に収まります
  • 開発元はスペインのMultiverse Computing。2026年7月に約860億円を調達したユニコーン企業です
  • ただし検証は1系統のモデル・1つの量子化形式に限られ、圧縮技術自体は非公開という限界もあります

ローカルAIの導入を検討している方は、まずHugging FaceでHypernova-60Bのモデルカードを開き、自社の用途に必要なGPUメモリを見積もってみてください。

参考文献