NVIDIAがAIコスト74%減｜モデル自動振り分け

公開日:

SHARE

伊東雄歩
監修者 伊東 雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

taolis.net X note Voicy YouTube
  • NVIDIAが2026年8月11日、モデルルーター「NeMo Switchyard」をオープンソースで公開しました
  • 用途ごとに最適なAIモデルへ自動で振り分け、社内実験ではコストを74%削減しています
  • 同時公開の小型モデル「Nemotron 3.5 Lightning」は300億パラメータのうち30億だけを動かします
  • OpenRouterやAWS Bedrockと違い、自分のPCやサーバーの中で動かせるのが最大の差です
  • ただし現在は「プレアルファ版」。本番システムへの投入はまだ早い段階です

AIの利用料金が思ったより高い、と感じたことはありませんか。実は請求額がふくらむ原因の多くは、簡単な作業にまで最上位のAIを使ってしまうことにあります。NVIDIAはこの問題に対して、作業ごとにAIを選び分ける仕組みを無料で公開しました。何がどう変わるのかを見ていきます。

NVIDIAが公開した「NeMo Switchyard」とは

2026年8月11日、NVIDIAが「NeMo Switchyard（ニーモ・スイッチヤード）」を発表しました。

これはモデルルーター（届いた依頼を、いちばん向いているAIへ自動で振り分ける仕組み）です。Switchyardは英語で「鉄道の操車場」を意味します。入ってきた1本の線路を、行き先ごとに何本にも分ける場所のことです。

今までは開発者が「この機能にはGPT-5.6を使う」と手作業で決めていました。Switchyardを挟むと、依頼の中身を見て、その場でAIを選び直してくれます。

中身はRust（動作がとても速いプログラミング言語）で書かれたプロキシ（間に立って通信を中継するソフト）です。ライセンスはApache License 2.0で、商用利用もできます。

対応しているのはOpenAI Chat、Anthropic Messages、OpenAI Responsesの3形式です。つまり今使っているプログラムをほとんど書き換えずに導入できます。

同時公開の「Nemotron 3.5 Lightning」も鍵になる

Switchyardと一緒に、新しい小型モデル「Nemotron 3.5 Lightning」も公開されました。

全体で300億パラメータありますが、1回の返答で実際に動くのは30億だけです。MoE（作業ごとに担当の専門家だけを起こす仕組み）を採用しているためです。

性能は小型モデルとしてはかなり高い水準です。MMLU Proで81.94点、GPQA Diamondで75.44点、SWE-bench Verifiedで51.56点を記録しました。

速度面では、同じくらいの大きさのモデルと比べて最大4倍の出力速度を出します。扱える文章の長さは最大100万トークン（文庫本で数冊分）です。

ライセンスはOpenMDW-1.1で、Hugging FaceとModelScopeから入手できます。RTX搭載のPCやDGX Sparkなど、手元の機械でも動かせる点が大きな特徴です。

なぜコストが74%も下がるのか

Switchyardには4種類の振り分け方が用意されています。

  • LLM分類器：AIに依頼内容を読ませて難易度を判定します。同じ会話は同じモデルが担当し続けます
  • ステージルーター：直前にどんな道具を使ったかを見て、次に必要な能力を推測します
  • エスカレーションルーター：まず安いモデルで試し、うまくいかないときだけ上位モデルへ引き上げます
  • プリフィルルーター：AI内部の計算途中の状態から、どのモデルなら成功しそうかを予測します

成果はどうだったのでしょうか。LangChainを使った145タスクの評価では、最上位モデルだけを使う場合と比べてコストが74%下がりました。

このとき最上位のClaude Opus 4.8に回されたのは、全体のわずか7%でした。残り93%はNemotron 3.5 Lightningで処理できたということです。

もちろん代償もあります。正答率は約6ポイント下がりました。

AIコーディング企業のCognitionでの実装例では、もっと差が小さくなっています。FrontierCode Mainという評価で正答率50.6%、平均コスト3.11ドル。最上位モデルのOpus 5との差は2.8ポイント以内に収まり、コストは約28%削減されました。

ここで大事なのは、NVIDIAが「トークン単価」ではなく「仕事を終えるまでの総額」で計算している点です。単価が安いモデルでも、答えにたどり着くまでに何度もやり直せば結局高くつきます。

OpenRouter・Bedrock・Foundryとの違い

モデルの振り分け自体は新しい発想ではありません。すでに似たサービスがいくつもあります。

OpenRouterは、複数のAI会社のモデルを1つの窓口から使えるクラウドサービスです。いろいろなモデルを試したいときに強く、乗り換えも簡単です。ただし通信は必ずOpenRouterのサーバーを経由します。

Amazon Bedrock Intelligent Prompt Routingは、同じ家族のモデル内での振り分けが中心です。Claude SonnetとClaude Haikuの間、Llama 3.1の8Bと70Bの間といった具合です。会社をまたいだ振り分けは想定されていません。

Microsoft Foundryのモデルルーターも同様に、クラウド上で完結する形をとっています。

これらに対してSwitchyardの違いは3点あります。

  • 完全オープンソースで、自分専用の振り分けルールを書き足せる
  • 自社サーバーや自分のPCの中で動かせるため、データを社外に出さずに済む
  • 特定のAI会社に縛られず、DeepSeekやQwenなどのオープンモデルとも混ぜて使える

Moor Insights & Strategyの分析でも、本当に重要なのは振り分け機能そのものではなく、NVIDIAがそれをオープンソースにした点だと指摘されています。

どんな場面で効くのか — 3つの具体例

数字だけではイメージしづらいので、実際の現場を3つ想像してみてください。

まず、問い合わせ対応を自動化している通販会社を考えます。届く質問の大半は「配送状況を知りたい」「返品したい」という定型的なものです。ここに最上位AIを使うのは、近所のコンビニへ行くのに新幹線を使うようなものです。Switchyardなら定型質問を小型モデルに回し、クレーム対応など判断が難しい会話だけを上位モデルへ送れます。

次に、社内文書を扱うシステムです。日報の要約やタイトル付けは軽い作業ですが、契約書の条項チェックは高い読解力が必要になります。実際、The Registerの記事でも「タイトル生成やサイト要約」のような軽作業は安いモデルに任せるべき例として挙げられています。

3つ目はコードを書くAIエージェントです。ファイルを開く、テストを走らせる、といった手順の一つひとつに最上位モデルを呼ぶと、料金がすぐにふくらみます。ステージルーターは直前の道具の使い方を見て、思考が必要な場面だけ上位モデルへ切り替えます。

日本のユーザーと企業への影響

日本の読者にとって、この発表には3つの意味があります。

1つ目は日本語での実用性です。Nemotron 3.5 Lightningは日本語を含む複数の自然言語に対応しています。英語専用モデルではないため、日本語の要約や分類も小型モデル側に任せられます。

2つ目は為替の影響を減らせる点です。海外AIの利用料はドル建てです。円安が進むほど日本企業の負担は重くなります。呼び出し回数そのものを7%まで絞れるなら、為替の影響も同じ割合で小さくなります。

3つ目はデータを国内に置いたまま使えることです。金融や医療、自治体の業務では、データを海外のサーバーに送れない場面があります。Switchyardとオープンモデルを社内で動かし、どうしても必要なときだけ外部APIを呼ぶ、という組み合わせが可能になります。

国内での導入も始まっています。クラスメソッドはSwitchyardを試し、27%のコスト削減を報告しました。海外では通信大手のAT&Tが独自の振り分け機能で、用途によっては80〜90%の削減を達成したと言われています。

使う前に知っておきたい3つの注意点

魅力的な数字が並びますが、今すぐ本番導入するのは早すぎます。

まず、公式が「プレアルファ版」だと明言しています。バージョン1.0までにAPIもアルゴリズムも大きく変わる見込みで、本番環境での利用は推奨されていません。

次に、精度は確実に落ちます。LangChainの評価では約6ポイントの低下がありました。医療の判断や法務のような、間違いが許されない領域では慎重な検証が必要です。

最後に、振り分け自体にもコストがかかります。LLM分類器はAIに判定させる方式なので、その分の料金と待ち時間が乗ります。軽い作業ばかりのシステムでは、削減額より手間のほうが大きくなることもあります。

よくある質問（FAQ）

Q1. 無料で使えますか？

Switchyard本体はApache License 2.0で無料です。ただし振り分け先のAI（GPT-5.6やClaudeなど）の利用料は別途かかります。Nemotron 3.5 LightningはOpenMDW-1.1ライセンスで、こちらも商用利用が可能です。

Q2. プログラミングの知識がなくても使えますか？

現時点では開発者向けのツールです。RustまたはPython 3.10以降の環境を用意し、コマンドから設定する必要があります。一般ユーザーがそのまま使える画面は用意されていません。

Q3. 今使っているプログラムを書き直す必要はありますか？

ほとんど必要ありません。OpenAI Chat、Anthropic Messages、OpenAI Responsesの3形式に対応しているため、接続先のURLをSwitchyardに向けるだけで動くケースが多いです。

Q4. NVIDIAのGPUがないと使えませんか？

Switchyard自体は振り分けをするだけのソフトなので、NVIDIA製GPUは必須ではありません。クラウドのAPIだけを振り分け先にする使い方もできます。Nemotron 3.5 Lightningを手元で動かす場合は、RTX搭載PCやDGX Sparkなどが必要です。

Q5. OpenRouterから乗り換えるべきですか？

用途によります。いろいろなモデルを試したいだけならOpenRouterのほうが手軽です。データを社外に出せない、または振り分けルールを自分で細かく作りたい場合にSwitchyardが向いています。

まとめ

  • NVIDIAが2026年8月11日、オープンソースのモデルルーター「NeMo Switchyard」を公開しました
  • 4種類の振り分け方式で、依頼ごとに最適なAIを自動選択します
  • LangChainの145タスク評価でコスト74%減、上位モデルへの呼び出しは7%のみでした
  • Cognitionの実装では正答率の差2.8ポイント以内でコスト28%減を実現しています
  • OpenRouterやBedrockと違い、自社環境で動かせてルールも自作できます
  • ただしプレアルファ版で精度も約6ポイント落ちるため、本番投入はまだ待つべきです

まずはGitHubのリポジトリを開き、自社で使っているAIの中で「軽い作業に上位モデルを使っている場所」がどこかを洗い出すところから始めてみてください。

参考文献

前の記事

子のAI課金6割増｜動機は教育効果じゃない