iPhoneでAI33種実測｜9Bより2.6Bが上

監修者伊東雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

Artificial AnalysisがiPhone 17 Proで小型AI 41ビルドを実測し、動いたのは33個だけだった
スコア1位はNanbeige4.2-3BとLFM2.5-2.6Bの63点で、パラメータが3倍以上ある9Bモデルを上回った
LFM2.5-2.6Bは同じ質問に8.0秒・メモリ2.3GBで答え、9Bモデルの25秒超・6.9GBを大きく引き離した
「1分以内に返事」という条件を付けると順位は総入れ替えになり、賢さと速さは別物だと判明した
測定ツール「Pipette」はオープンソース公開され、誰でも自分のスマホで同じ計測を再現できる

スマホの中だけで動くAIって、正直どれくらい使えるんだろう。そう思ったことはありませんか。2026年8月25日、その疑問にはじめて具体的な数字で答えるデータが公開されました。iPhone 17 Proで41種類のAIを実際に走らせた、まるごと実測のベンチマークです。結果は少し意外なものでした。

iPhoneのAI性能が、はじめて「実測値」になった

AI性能の分析で知られるArtificial Analysisが、スマホ向けAIの測定結果を公開しました。GIGAZINEが日本語で報じたのは2026年8月25日の午前11時26分です。

これまでも「スマホでAIが動く」という話はありました。ただ、その多くはメーカー自身の発表です。第三者が同じ条件で横並びに測ったデータは、ほとんどありませんでした。

今回はそこが違います。実物のiPhone 17 Proを使い、温度管理された専用施設で測定しています。スマホは熱くなると性能が落ちるので、部屋の温度まで揃えないと数字が比較できないからです。

測定を支えたのはLiquid AIの「Pipette」

推論速度の計測部分は、AIスタートアップのLiquid AIと組んで行われました。同社が開発したベンチマークツールが「Pipette」です。

PipetteはiOS版とAndroid版のアプリとして用意され、ソースコードがGitHubで公開されています。つまり、自分の手持ちのスマホで同じ測定を試せるということです。

41ビルド中、33個しか動かなかった

テスト対象は4bit以下に量子化された41ビルドです。量子化（AIの数値の精度をあえて粗くしてサイズを小さくする技術）をかけないと、そもそもスマホのメモリに載りません。

条件は「量子化後に8GB以内へ収まること」。文脈8Kトークン分のKVキャッシュ（会話の途中経過を保持する領域）も含めた数字です。

そしてiPhone 17 Proで実際に完走したのは33ビルドでした。残り8つは動きません。「スマホで動くAI」と紹介されていても、実機では落ちるものが2割近くあります。

参加した開発元はGoogle、IBM、Liquid AI、Alibaba、TII UAE、OpenBMB、Ornith AI、InclusionAIなど、国も規模もバラバラです。llama.cpp（軽量なAI実行エンジン）を通して統一的に走らせています。

2.6Bが9Bに勝った｜スコアの中身

賢さの測定には5つのテストが使われました。BFCL（道具をうまく使えるか、640問の抜粋）、IFBench（指示にきちんと従えるか）、AA-Omniscience（知識と嘘のつきにくさ）、GPQA Diamond（大学院レベルの理科の難問）、MATH-500（数学）です。

文脈長を16Kトークンに制限した本命の条件で、結果はこうなりました。

Nanbeige4.2-3B：63点
LFM2.5-2.6B：63点
Ornith-1.0-9B：62点
Qwen3.5 9B（Reasoning）：61点

ここが今回いちばんの驚きです。パラメータ2.6Bのモデルが、9Bのモデルを上回りました。数字の上では3倍以上の差があるのに、成績は逆転しています。

効率で見ると差はもっと開く

ただし同点でも、そこに至るコストはまるで違いました。1,024トークンの質問に答えるまでの時間とメモリを比べます。

LFM2.5-2.6B：8.0秒／2.3GB
Nanbeige4.2-3B：21.4秒／4.0GB
9Bクラスの2モデル：25秒超／6.9GB

同じ63点でも、片方は8秒、もう片方は21.4秒。体感でいえば2.7倍近く待たされる計算になります。9Bモデルにいたっては25秒超えです。

全体の幅はさらに極端でした。最速のLFM2.5-230Mが0.9秒、最遅のFalcon-H1R-7Bが26.7秒。その差はおよそ30倍です。メモリも0.4GBから6.9GBまで、桁がひとつ違います。

得意分野はモデルごとにきれいに割れた

道具の使いこなし（BFCL）はQwen3.5 9Bの非推論版が77%でトップ、Nanbeigeが76%と僅差。理科の難問（GPQA Diamond）も同じくQwen3.5 9Bが79%で、Nanbeigeの67%を引き離しました。

いっぽう数学（MATH-500）はNanbeigeが96%と圧勝、LFM2.5-2.6Bが90%で続きます。指示追従（IFBench）はLFM2.5-2.6Bが59%で首位でした。

そして最も差が開いたのが「知ったかぶりをしないか」という項目です。AA-Omniscienceの非ハルシネーション率（わからない時に素直にわからないと言える割合）を見てください。

LFM2.5-2.6B：79%
Nanbeige4.2-3B：33%
Qwen3.5系の2バージョン：24%と1%

1%というのは、ほぼ毎回それっぽい答えをでっちあげているという意味です。AA-Omniscienceは6分野42トピック・6,000問で構成され、正解を褒めるだけでなくデタラメな回答には減点を、正直な「わかりません」には減点なしという設計になっています。

「1分以内に返事」を条件にすると順位が総入れ替えになる

研究者が使うベンチマークは、答えが出るまで何時間でも待ちます。でも私たちがスマホで質問するとき、1分も無反応なら普通はアプリを閉じてしまいますよね。

そこで「1分以内に答えを出し切る」という予算を設定して測り直したところ、ランキングは別物になりました。

LFM2.5-8B-A1B：47点で1位
Nanbeige4.2-3B：18点まで転落（毎秒14トークンしか出せないため）

16Kの条件で63点だったモデルが、時間制限を付けると18点です。賢さと実用性は、まったく別の指標だったことになります。

MoEという構造が効いている

1位になったLFM2.5-8B-A1Bと、上位に入ったLing 3.0 Tinyには共通点があります。どちらもMoE（混合エキスパート）という仕組みを使っている点です。

全体では8B規模の知識を抱えながら、1つの単語を出すときに実際に働くのはおよそ10億パラメータ分だけ。大きな図書館を持ちつつ、毎回必要な棚にだけ足を運ぶような設計です。おかげで賢さを保ったまま速く動けます。

なぜ16Kトークンで測ったのか

クラウドのAIでは64Kや128Kの文脈長が当たり前になりました。今回あえて16Kに絞ったのには、はっきりした理由があります。

ひとつは64K分のデータがスマホのメモリに載らないこと。もうひとつは、仮に載っても64Kトークンを生成するのに20分以上かかってしまうことです。

実際、16K制限下でもQwen3.5 9Bは生成の29%が文脈上限に当たって打ち切られています。1回の試験で吐き出したトークンは74.5M。Gemma 4 E4Bの5.2Mと比べると14倍以上も考え込んでいた計算です。

参考までに64K条件での結果も出ていて、Ling 3.0 Tinyが66点、Nanbeigeが65点、LFM2.5-2.6BとQwen3.5 9Bが64点でした。制約の置き方ひとつで、勝者は簡単に変わります。

身近な3つの場面で考えてみる

飛行機の中で議事録をまとめる。出張帰りの機内、電波はありません。手元の録音メモを要約したいとき、クラウドAIは使えません。ここで2.3GBしか使わないLFM2.5-2.6Bなら、他のアプリを圧迫せずに動きます。8秒待てば答えが返ってくるので、作業のリズムも崩れません。

病院の待合室で検査結果の用語を調べる。手元の紙に並ぶ専門用語を打ち込みたいけれど、健康情報を外部サーバーに送るのは気が進まない。オンデバイスAIなら通信が発生しないので、データはスマホの外に出ません。ただし非ハルシネーション率が1%のモデルを選んでしまうと、それらしい嘘を信じることになります。

子どもの宿題を一緒に見る。算数の解き方を確かめたい場面では、MATH-500で96%を叩き出したNanbeigeのような数学に強いモデルが向きます。返事に20秒かかっても、腰を据えて教えるなら許容範囲でしょう。

3つ並べると見えてくることがあります。「いちばん賢いAI」を探すより、その場面に合った1本を選ぶほうが実利が大きいのです。

他のオンデバイスAI比較と何が違うのか

従来のスマホAIベンチマークは、多くが速度だけを測るものでした。毎秒何トークン出るか、起動に何秒かかるか。それでは「速いけど頭が悪い」モデルまで高評価になってしまいます。

逆に賢さの評価は、クラウド前提のスコアを流用するのが普通でした。メモリ制限も時間制限もない世界の数字なので、スマホでの実感とはズレます。

今回はその2つを同じ土俵に載せた点が新しいところです。しかも実機を使い、温度まで管理しています。

ただし限界もあります。実行エンジンはllama.cppに限定されていて、Appleの純正フレームワークや各社独自の最適化は反映されていません。数字は「llama.cpp経由での実力」と読むのが正確です。

Artificial Analysis自身も、メモリ使用量の比較拡充、llama.cpp以外のフレームワーク対応、対応端末の追加を今後の課題として挙げています。

「速さと賢さの両立点」は驚くほど少ない

調査ではもうひとつ興味深い指摘がありました。速度と賢さの両面で他に負けないモデル、いわゆるパレート最適な選択肢は6モデルしかなかったのです。

33個も動いたのに、真剣に検討する価値があるのは6つ。裏を返せば、選択肢は思ったより絞り込めるということでもあります。

日本のユーザーと企業にとって何が変わるか

1位モデルは日本語に対応している

時間制限付きで1位になったLFM2.5-8B-A1Bは、2026年5月28日にオープンモデルとして公開されました。日本語の質問にも品質の高い回答を返すことが公表されています。

Galaxy S26 Ultraでの実測は毎秒28トークン。日本語で読むなら、じゅうぶん実用的な速度です。今回の測定で速度部門の首位に立ったモデルが日本語対応済みという事実は、国内ユーザーにとって素直に朗報でしょう。

Apple純正AIの「12GBの壁」を回避できる

Appleの次世代Apple Intelligenceは、最上位のオンデバイス機能に12GBのメモリを必須としています。対応するのはiPhone 17 ProとiPhone Airまで。iPhone 17の標準モデルや、それ以前の端末は対象外です。

純正モデルはストレージも約7GB使います。買い替えないと最新のAI機能に触れられない構図です。

ところが今回のデータは2.3GBのモデルが63点を出せると示しました。サードパーティ製のアプリを使えば、メモリ要件のハードルはぐっと下がります。純正一択ではないという選択肢が、数字で裏づけられたわけです。

個人情報を外に出さない業務が現実味を帯びる

日本企業がAI導入で必ずぶつかるのが、個人情報保護法や社内規程との折り合いです。顧客データを外部のAPIに送れない、という理由で止まった案件は少なくありません。

端末の中だけで完結するAIなら、この論点そのものが消えます。営業担当のスマホで面談メモを要約する、現場作業員が写真の内容を整理する。通信を伴わないので、データが社外に出ないことを構造的に保証できます。

これまでは「オンデバイスAIは性能が足りない」で片づけられがちでした。公開された実測値があれば、稟議の材料として数字を示せます。

よくある質問（FAQ）

Q1. 私のiPhoneでも同じことができますか？

測定に使われたのはiPhone 17 Proです。それ以前の端末はメモリが少ないため、大きめのモデルは動かない可能性があります。ただしLFM2.5-230Mのような小型モデルは0.4GB程度しか使わないので、古い端末でも動く見込みはあります。PipetteはGitHubで公開されているため、自分の端末で試すことも可能です。

Q2. 「量子化」ってそんなに重要なんですか？

スマホで動かすなら必須です。量子化はAIの内部数値をあえて粗くしてサイズを縮める技術で、今回は全モデルが4bit以下に圧縮されています。精度は多少落ちますが、圧縮しなければメモリに載りません。なお同じモデル名でも量子化の方法は複数あり、どの版かで性能が変わる点は要注意です。

Q3. 結局どのモデルを選べばいいですか？

用途で分かれます。バランス重視ならLFM2.5-2.6B（8.0秒・2.3GB・非ハルシネーション率79%）、すぐ返事がほしいならLFM2.5-8B-A1B（時間制限付き1位・日本語対応）、数学や論理をじっくり解かせたいならNanbeige4.2-3B（MATH-500で96%）が候補になります。待てる時間から逆算して選ぶのが近道です。

Q4. クラウドのChatGPTやClaudeと比べてどうですか？

賢さでは今もクラウドが大きく上回ります。今回のモデルは最大でも9B規模で、クラウドの主力モデルとは桁が違うためです。オンデバイスAIの価値は性能そのものより、通信不要・データが外に出ない・追加料金なしという点にあります。用途を絞れば十分戦力になる、という位置づけで捉えるのが妥当でしょう。

Q5. なぜ小さいモデルが大きいモデルに勝てたのですか？

制約があるからです。メモリ8GB・文脈16K・応答1分という条件下では、大きいモデルは持ち味を出し切る前に打ち切られます。実際Qwen3.5 9Bは生成の29%が上限に達していました。加えて小型モデルは訓練の作り込みが進んでおり、Nanbeige4.2-3Bは同じ層を繰り返し使う構造で、パラメータを増やさずに能力を伸ばしています。