AIツール2026年8月更新

NVIDIA Nemotron 3.5 Lightningとは?性能・料金・Nemotron 3シリーズとの違い【2026年8月最新】

公開日: 2026/08/12
NVIDIA Nemotron 3.5 Lightningとは?性能・料金・Nemotron 3シリーズとの違い【2026年8月最新】

この記事のポイント

NVIDIAが2026年8月に公開したNemotron 3.5 Lightningは、AIエージェントの実行を担う総30B/アクティブ3BのオープンウェイトMoEモデル。性能・API料金・ローカル実行手順・Nemotron 3シリーズとの違い・導入前の制約を整理します。

NVIDIA Nemotron 3.5 Lightning は、NVIDIAが2026年8月11日に公開した、常時稼働するAIエージェントの「実行」部分を高速に回すために設計されたオープンウェイトの小型MoEモデルです。正式名称は NVIDIA-Nemotron-3.5-Lightning-30B-A3B で、総パラメータ300億(30B)・アクティブパラメータ30億(3B)、ライセンスは商用利用可の OpenMDW-1.1。モデル重みだけでなく学習データと学習レシピまで公開されています。

この記事でわかること:

  • Nemotron 3.5 Lightningが「何をするためのモデル」なのか(設計思想)
  • 前世代 Nemotron 3 Nano からの性能差をベンチマーク数値の差分表で比較
  • Nemotron 3 Nano / Super / Ultra とのファミリー内の位置づけ
  • 「4倍速い」の中身と、なぜ速いのかという構造的な理由
  • API料金・無料で試す3ルート・ローカル実行に必要なGPU
  • OpenClaw等のエージェントをこのモデルで動かす具体的なコマンド
  • 導入前に知っておくべき制約(推論トークンの食い潰し、VRAM別のコンテキスト縮小など)

AIエージェントを継続稼働させたい開発者、ローカルLLMでコストを下げたいエンジニア、オープンウェイトモデルの社内導入を検討している技術責任者に向けた解説です。

Nemotron 3.5 Lightningとは

NVIDIA Nemotron 3.5 Lightning 公開時の発表ビジュアル

出典:NVIDIA 公式ブログ

Nemotron 3.5 Lightningは、「AIエージェントが消費するトークンの大半は"考える"ではなく"実行する"部分だ」という前提から設計されたモデルです。ツールの呼び出し、返ってきた結果の検証、サブエージェントへの委譲といった地味で回数の多い処理を、安く速く大量にこなすことを目的にしています。

項目

内容

正式名称

NVIDIA-Nemotron-3.5-Lightning-30B-A3B

開発元

NVIDIA

公開日

2026年8月11日

パラメータ

総300億(30B)/アクティブ30億(3B)

MoE構成

128エキスパート中 top-6 を選択

アーキテクチャ

Mamba-2 + MoE + Attention のハイブリッド(全52層中、Attention層は6層のみ)

コンテキスト長

最大100万(1M)トークン ※実効値は実行環境に依存(単一H100ではメモリ制約で実質256K程度)

ライセンス

OpenMDW-1.1(商用利用可・分野制限なし)

公開物

モデル重み + 学習データ + 学習レシピ

対応言語

英語・スペイン語・フランス語・ドイツ語・イタリア語・日本語 + プログラミング言語43種

学習規模

20兆トークン超(NVFP4レシピで事前学習)

データカットオフ

事前学習:2025年9月/事後学習:2026年5月

由来

フロンティアモデル Nemotron 3 Ultra からの蒸留

「実行レイヤー専用」という位置づけ

公式が想定しているのは、Lightning単体ですべてを賄う使い方ではありません。計画・オーケストレーションはNemotron 3 UltraやGPT-5.6のようなフロンティアモデルが担い、そこから降りてきた大量の実作業をLightningが処理するという役割分担型の構成です。

つまりこのモデルを評価するときの基準は「どれだけ賢いか」ではなく、「同じ作業をどれだけ安く速く、精度を落とさずに繰り返せるか」になります。この前提を外して汎用チャットモデルとして比べると、評価を見誤ります。

AIエージェントそのものの仕組みから確認したい場合は、AIエージェントとは何かを解説した記事も参考にしてください。

Nemotron 3シリーズとの違い

Nemotron 3.5 Lightningは前世代の Nemotron 3 Nano と同じ「30B-A3B」というサイズ・同じMamba-2ハイブリッド構成のまま、エージェント関連の性能だけが大きく伸びたモデルです。サイズを増やして強くしたのではなく、Nemotron 3 Ultraからの蒸留とエージェント特化の事後学習によって中身を入れ替えています。

前世代(Nemotron 3 Nano)からのベンチマーク差分

ベンチマーク

Nemotron 3 Nano 30B-A3B

Nemotron 3.5 Lightning

SWE-bench Verified(コーディング)

34.08

51.56

+17.5pt

Terminal-Bench 2.1(ターミナル操作)

8.29

24.58

約3倍

PinchBench(エージェント)

66.11

85.37

+19.3pt

Artificial Analysis Intelligence Index

15

24

+9pt

※Nemotron 3.5 Lightning側はBF16での測定値。出典:NVIDIA技術ブログArtificial Analysis

注目すべきは、Artificial Analysisが「Nemotron 3 Nanoとほぼ同じ出力トークン数でIntelligence Indexを+9pt伸ばした」と評価している点です。推論を長く垂れ流して点数を稼いだのではなく、同じトークン予算で結果が良くなっている、という意味になります。エージェントを常時動かす用途では、この「冗長化していない」ことが実コストに直結します。

なお、前世代のマルチモーダル版である Nemotron 3 Nano Omni は画像・音声・動画も扱うモデルで、性格が異なります。比較する際は混同しないよう注意してください(Nemotron 3 Nano Omniの解説記事)。

ファミリー内の位置づけ

モデル

総パラメータ/アクティブ

位置づけ

Nemotron 3 Nano

30B / 3B

小型。Lightningの前世代にあたる

Nemotron 3 Super

120B / 12B

中型。多数エージェントの低遅延協調向け

Nemotron 3 Ultra

550B / 55B

フロンティア推論。Lightningの蒸留元

Nemotron 3.5 Lightning

30B / 3B

Nanoと同サイズで、エージェント実行に特化して再設計した「3.5」世代

ここで一点補足しておくと、「3.5」はファミリー全体の刷新ではありません。現時点で公開されている3.5系モデルはLightningのみで、Nano/Super/Ultra相当の3.5版が出るかどうかは公式に予告されていません。

性能:「4倍速い」の中身と、なぜ速いのか

Nemotron 3.5 Lightning の精度と出力速度の位置づけを示すチャート

出典:NVIDIA 公式ブログ

速度の数値は、条件を書かないと意味を持ちません。公表・実測されている主な数値を条件付きで並べます。

指標

数値

測定条件・出典

出力速度

最大4倍

同サイズ帯のオープンモデル比/NVIDIA測定

エージェントのタスク完了時間

30%短縮

NVIDIA測定

PinchBench 10,000タスク

精度86%を保ちつつ30%高速に完了

Qwen3.6 35Bとの比較/NVIDIA測定

クラウド実測スループット

670トークン/秒

DeepInfra・NVFP4/Artificial Analysis測定

DGX Spark 単発

79.59 t/s →(DSpark併用)115.75 t/s

Classmethod DevelopersIO 実機検証

DGX Spark 8並列

331.97 t/s →(DSpark併用)421.85 t/s

同上

DGX Spark 初回トークン遅延

0.071秒(単発)/8並列でも0.212秒以内

同上

なぜここまで速いのか

高速さは単一の工夫ではなく、4つの設計が重なった結果です。

  1. マルチトークン予測(MTP)を事前学習の段階から統合 — 後付けの高速化オプションではなく、モデルの学習そのものに組み込まれています。
  2. 投機的デコード用のドラフトモデルを2種同梱DSpark(半自己回帰型。DGX Sparkや低並列のデータセンター向け)と DFlash(軽量ブロック拡散型。負荷が変動する環境向け)。
  3. NVFP4量子化 — Blackwell / Hopper世代GPUではネイティブ推論、AmpereではW4A16カーネル経由で動作します。
  4. Attention層が52層中6層しかない — これが最も効いています。Attention層が少ないほどKVキャッシュが小さくなり、Classmethodの計測ではKVキャッシュプールが18,448,384トークン(同クラスのGemma 4系31Bモデルの約24倍)に達しました。1Mトークンのコンテキストや高並列処理が成立しているのは、賢さではなくこの構造上の余裕によるものです。

同じ30B級のオープンモデルとの比較観点は、Gemma 4の解説記事Muse Glimmerの解説記事も併せて見ると整理しやすくなります。

精度ベンチマーク(BF16 / NVFP4)

ベンチマーク

BF16

NVFP4

領域

MMLU Pro

81.94

81.62

一般知識

GPQA Diamond

75.44

75.57

科学推論

SWE-bench Verified

51.56

52.80

コーディング

SWE-bench Multilingual

36.47

多言語コーディング

Terminal-Bench 2.1

24.58

23.46

ターミナル操作

PinchBench

85.37

83.43

エージェント

SciCode

31.38

科学コード

IFBench(loose)

72.88

指示追従

AA-LCR

49.19

ロングコンテキスト

HLE(text only)

10.47

難問

AA-Omniscience

16.63

知識網羅性

※NVIDIA統一ハーネスでの測定値

実務上の重要な示唆は、4bit量子化(NVFP4)でもBF16からほとんど劣化していないことです。SWE-bench VerifiedとGPQA Diamondではむしろ量子化版のほうが高い数値が出ています。「軽くすると精度が落ちる」という前提で検討を止める必要はありません。

独立評価での立ち位置(総合知能は中位、エージェントは上位)

モデル

Artificial Analysis Intelligence Index

Muse Glimmer(30B級)

35

Qwen3.6 35B

32

Nemotron 3 Super(120B-A12B)

26

Nemotron 3.5 Lightning

24

gpt-oss-120b

24

Nemotron 3 Nano

15

総合知能の指標では中位です。しかしエージェント特化評価であるGDPval-AA v2ではElo 824を記録し、gpt-oss-120bとNemotron 3 Superの両方を上回っています

「総合知能では中位、エージェント実行では上位」という非対称な性格が、このモデルの正しい理解です。汎用チャットの賢さを期待すると失望し、ツール実行の反復性能を期待すると評価が変わります。Qwen3.6系との比較検討をしている場合は、Qwen3.6の解説記事も参照してください。

料金:モデル本体は無料、コストは「どこで動かすか」で決まる

モデルそのものは無料です。OpenMDW-1.1により、ダウンロード・改変・商用配布まで許諾されており、NVIDIAへの申請も支払いも不要です。かかるのはホスティング費用またはハードウェア費用だけになります。

ホスティングAPIの料金(2026年8月時点)

プロバイダ

精度

入力(100万トークン)

出力(100万トークン)

実測出力速度

TTFT

コンテキスト上限

DeepInfra

NVFP4

$0.05

$0.20

578 t/s

3.89秒

28.7K

Fireworks

BF16

$0.05

$0.20

478 t/s

4.79秒

262K

GMI

BF16

$0.00

$0.00

262 t/s

8.84秒

65.5K

Nebius

BF16

262 t/s

9.42秒

1.05M

CoreWeave

BF16

107 t/s

29.17秒

262K

OpenRouter

集約

$0.05

$0.20

262K

出典:Artificial Analysis プロバイダ一覧OpenRouter

ここで見落とされがちなのが、同じモデル名でもプロバイダによって体験がまったく違うという点です。出力速度は最速と最遅で約4.4倍、コンテキスト上限は28.7K〜1.05Mと36倍以上の開きがあります。「1Mコンテキスト対応モデル」として選んだのに、契約したエンドポイントの実効上限が28.7Kだった、ということが実際に起こります。選定時は必ずプロバイダ側の仕様を確認してください。なお料金・上限とも改定される可能性があるため、契約前に各プロバイダの最新表示を確認するのが前提です。

無料で試す3つのルート

  1. build.nvidia.com — アカウント作成とAPIキー発行だけで、OpenAI互換の試用エンドポイントを無料で利用できます。
  2. OpenRouterの無料枠nvidia/nemotron-3.5-lightning:free が提供されています。
  3. GMI — 現時点では入出力とも$0.00で提供されています(今後の改定はあり得ます)。

ローカル実行のコスト

GPUまたはPCの費用のみで、ソフトウェア面の追加費用はありません。Ollama・LM Studio・llama.cpp・Unsloth経由でいずれも無料です。ハードウェアはH100 1枚、またはDGX Spark(GB10)1台で単一GPU動作します。ローカル実行環境の選択肢はNVIDIA DGX Spark / RTXの解説記事にまとめています。

使い方:ローカル実行とエージェント連携

Ollama公式ライブラリに掲載された Nemotron 3.5 Lightning のモデルページ

出典:Ollama 公式モデルライブラリ

Ollamaで動かす

最も手数が少ないのはOllamaです。公式ブログが提示している起動コマンドは次のとおりです。

# 単体でチャットとして使う
ollama run nemotron-3.5-lightning

# OpenClaw をこのモデルで起動する
ollama launch openclaw --model nemotron-3.5-lightning

# Claude Code / Hermes Agent / OpenCode も同じパターンで指定できる
ollama launch claude --model nemotron-3.5-lightning
ollama launch hermes --model nemotron-3.5-lightning
ollama launch opencode --model nemotron-3.5-lightning

Ollama自体の導入手順はOllamaの解説記事、OpenClaw側の初期設定はOpenClawとはおよびOpenClawセットアップガイドを参照してください。APIコストをかけずにエージェントを常時稼働させたい場合、この組み合わせが現時点で最も現実的な選択肢のひとつです。

Ollamaのタグと容量

タグ

容量

:latest / :30b / :30b-a3b

25GB

:30b-a3b-q4_K_M

25GB

:30b-a3b-nvfp4

23GB

:30b-a3b-q8_0

35GB

:30b-a3b-bf16

66GB

:30b-a3b-mlx / :30b-mlx(Apple Silicon)

23GB

:30b-a3b-mxfp8

34GB

VRAM別のコンテキスト自動設定(実務上の落とし穴)

Ollamaは搭載メモリ量に応じてコンテキスト長を自動設定します。

利用可能なVRAM/統合メモリ

自動設定されるコンテキスト長

24GB未満

4K

24〜48GB

32K

48GB以上

256K

つまり、「最大1Mトークン対応」と紹介されているモデルでも、VRAM 16GBの家庭用GPUで動かすと実際に使えるのは4Kトークンということが起こります。長いログを読ませるエージェント用途を想定しているなら、ここは事前に確認すべきポイントです。

サーバー推論・クラウド

  • サーバー推論ランタイム:vLLM、SGLang、TensorRT-LLM
  • クラウド:Amazon SageMaker JumpStart、Google Cloud Gemini Enterprise、Microsoft Foundry、OCI Enterprise AI、build.nvidia.com(NIM)
  • 配布:Hugging Face、ModelScope、OpenRouter
  • 対応エージェントハーネス:OpenClaw、Hermes Agent、OpenHands、Cline、Claude Code、OpenCode

どのハーネスを選ぶかはAIエージェントフレームワークの比較記事が参考になります。

同時公開された NeMo Switchyard との組み合わせ

NeMo Switchyard によるモデルルーティングのコスト効率を示すチャート

出典:NVIDIA 公式ブログ

Lightningと同日に公開された NeMo Switchyard は、タスクの難易度に応じて安いモデルと高価なモデルを振り分けるRust製のモデルルーターです。ライセンスはApache-2.0ですが、現時点では pre-alpha と明記されています。

項目

内容

形態

プロキシ/ライブラリ(Rust製)

ライセンス

Apache-2.0(pre-alpha)

API変換

OpenAI形式 ⇄ Anthropic形式

バックエンド

vLLM / NVIDIA NIM / Ollama

ルーティング方式

LLM Classifier(セッションアフィニティ付き)/Stage Router(直近のツール使用を監視)/Escalation Router(安いモデルから始めて難易度に応じて昇格)/学習型 prefill router

報告されている効果例は次のとおりです。

  • NVIDIA:Claude Opus 4.8単体と比べ、タスク完了コストを約3分の1に削減
  • LangChainの検証:Lightning + Claude Opus 4.8のエスカレーション構成で145件のマルチターンタスクを実行し、コスト74%削減。フロンティアモデルの呼び出しは全体の7%に留まった一方、精度は約6pt低下
  • Boomi:ドメインルーティング精度100%、トラフィックの59%を高速モデルへ振り分け
  • Cognition(Devin Desktop):平均コスト28%減/Classmethod:27%減/Ramp:コスト58%減・実行時間33%減

コスト削減は無料ではなく、精度とのトレードオフです。LangChainの検証で示された「74%減/6pt低下」を、自社のタスクで許容できるかどうかが判断の分かれ目になります。加えてSwitchyard自体がpre-alphaである以上、本番系にそのまま載せるのは時期尚早です。

弱み・導入前に知っておくべき制約

好意的な数字ばかりが出回っていますが、実務では以下が効いてきます。

制約

内容

対処

総合知能はフロンティア級ではない

Intelligence Index 24。Qwen3.6 35B(32)やMuse Glimmer(35)に劣る

計画・調査は上位モデルに任せ、実行だけ担当させる

モデルカードが本番直投入を推奨していない

BF16チェックポイントは主に事後学習(SFT・RL・蒸留)・ドメイン適応・量子化派生の作成用と明記

本番はNVFP4+最適化ランタイムを使う

推論トークンの食い潰し

トークンバジェットを4,096程度に絞ると内部推論だけで消費し、最終出力がほぼ出ない現象が報告されている

NVIDIA推奨の16,000トークンまで広げる

投機的デコードの設定が繊細

DSparkドラフトモデルを明示指定しないと初期化に失敗。ドラフトトークン数を3より増やすと逆に遅くなる(115.75→93.54 t/s)

推奨設定から外れて調整しない

VRAM次第でコンテキストが激減

24GB未満では4Kまで縮む。単一H100でも実質256K程度に留まる

長文脈が必要なら48GB以上、あるいは複数GPU構成を確保

プロバイダによる体験差

速度4.4倍差、コンテキスト28.7K〜1.05M

契約前に実効仕様を確認

日本語性能は未検証

対応言語リストに日本語は含まれるが、日本語ベンチマークの公式スコアは公開されていない

日本語エージェント用途では自前で実測する

日本語での性能比較を重視する場合は、国内向けLLMの比較記事も判断材料になります。

ライセンスと安全性の扱い

  • ライセンスは OpenMDW-1.1(Linux Foundation発の Open Model, Data and Weights)。分野利用の制限がなく、別途の商用ライセンスやロイヤリティも不要です。重み・データ・レシピを単一ライセンスで一括カバーする点が、Apache-2.0で重みだけを配布する形式との違いになります。NVIDIAはCosmos / Isaac GR00T / Ising / Nemotronの4ファミリーで採用しています。
  • 付随データセット Nemotron-RL Agentic Terminal Pivot(31,111サンプル/630タスク種)は CC BY 4.0
  • 学習データについて、NVIDIA自身がバイアスを開示しています。サンプルの64〜99%には年齢・性別・民族の明示的な言及がなく、言及がある場合は「male」が「female」を上回り、民族表現では「White」が43〜44%を占めるという偏りです。NVIDIAはバイアス監査、人口統計的にバランスの取れたデータでのファインチューニング、反実仮想データ拡張を緩和策として挙げています。
  • 合成推論トレースからは、政治的アライメントやナショナリズム的ナラティブを示すものをキーワード・正規表現フィルタで除去したと公式が明記しています。

セキュリティ観点:ローカル実行という選択肢

Ollama公式が明示しているとおり、ローカルで動かせばデータが端末の外に出ません。顧客情報や社内コードを扱うエージェントを常時稼働させる場合、この点は料金以上に大きな判断材料になります。

一方で、常時稼働エージェントには権限管理・監査ログ・実行環境の隔離といった統制が別途必要です。NVIDIAはこの領域向けにOSSスタック NemoClaw を提供しており、Lightningと組み合わせた「ローカル完結+統制あり」の運用が想定されています(NemoClawの解説記事)。運用ルールの設計はAIエージェントのセキュリティガイドOpenClawのセキュリティガイドを参考にしてください。

導入企業のカスタマイズ事例

Nemotron 3.5 Lightning を用いたエージェンティックAIのイメージ

出典:NVIDIA 技術ブログ

公式が公開しているカスタマイズ事例は、いずれも「汎用チャット」ではなく特定業務の反復実行にモデルを合わせ込む形です。

企業

領域

CrowdStrike

サイバーセキュリティ

Harvey × Trajectory

リーガル

CodeRabbit × Baseten

コードレビュー

Lila Sciences

ライフサイエンス

Fastino Labs

金融・ヘルスケア

学習レシピと学習データが公開されているため、自社ドメインでの追加学習を前提にした導入が現実的な選択肢になります。これは重みのみ公開のモデルにはない利点です。

こんな人におすすめ

  • エージェントを24時間動かし続けたいが、API料金が読めない人 — 100万トークンあたり入力$0.05・出力$0.20、あるいはローカルで完全無料という選択肢が取れます。
  • 社内データを外に出せない環境でエージェントを組みたい人 — H100 1枚またはDGX Spark 1台で単一GPU動作します。
  • OpenClaw・Claude Code・OpenCodeなどをローカルモデルで運用したい人 — Ollamaのlaunchコマンドで即座に接続できます。
  • 大量のツール呼び出し・結果検証を回す実行レイヤーを探している人 — GDPval-AA v2でgpt-oss-120bやNemotron 3 Superを上回る性能を示しています。
  • 自社ドメイン向けにファインチューニングしたい開発チーム — 重み・学習データ・レシピが揃っており、OpenMDW-1.1で商用配布まで許諾されています。
  • 既存のNemotron 3 Nanoを使っていて、伸び悩んでいる人 — 同サイズのまま、SWE-benchで+17.5pt、PinchBenchで+19.3ptの差があります。

おすすめしない人

  • 1モデルで難しい計画立案まで完結させたい人 — 総合知能はQwen3.6 35BやMuse Glimmerに劣ります。上位モデルとの併用が前提です。
  • 日本語での品質を最優先する人 — 対応言語には含まれますが、日本語ベンチマークの公式スコアが公開されていません。検証なしの本番投入は避けるべきです。
  • VRAM 24GB未満の環境で長文脈処理をしたい人 — コンテキストが4Kまで縮み、「1M対応」の恩恵を受けられません。
  • セットアップに手をかけたくない人 — 投機的デコードのドラフトモデル指定やトークンバジェット設定など、性能を出すには調整が必要です。マネージドなチャットサービスのほうが確実です。
  • すぐに本番運用へ載せたい人 — モデルカードはBF16版を本番推論用として推奨しておらず、NeMo Switchyardもpre-alphaです。
  • マルチモーダル(画像・音声)処理が必要な人 — Lightningはテキスト中心のモデルです。

よくある質問

Q. 商用サービスに組み込んで再配布しても問題ありませんか?

OpenMDW-1.1はロイヤリティフリーで、分野利用の制限もありません。自社製品への組み込み、ファインチューニングした派生モデルの配布まで許諾されており、NVIDIAへの個別申請も不要です。ただし付随データセット Nemotron-RL Agentic Terminal Pivot は CC BY 4.0(表示義務あり)と別ライセンスなので、データセットを二次利用する場合はクレジット表記が必要になります。実際の契約判断では、必ずOpenMDW-1.1の原文を法務で確認してください。

Q. 「30B」は300億ですか、3000億ですか?

総パラメータが300億(30B)、アクティブパラメータが30億(3B)です。MoE構造のため、推論時には128のエキスパートのうち上位6つだけが動き、実際の計算量は30億パラメータ相当になります。「30B級モデルの知識量を、3B級の計算コストで動かす」構造だと理解すると分かりやすくなります。

Q. Nemotron 3 Nanoから乗り換えるときに、何を変える必要がありますか?

必要VRAMもモデルサイズもほぼ同じなので、Ollamaならタグの差し替えだけで移行できます。ただし2点だけ設定を見直してください。1つはトークンバジェットで、4,096程度に絞ったままだと内部推論だけで使い切って出力が出ないことがあります(NVIDIA推奨は16,000)。もう1つは投機的デコードで、DSparkドラフトモデルを明示指定しないと初期化に失敗します。この2点さえ押さえれば、同サイズのままSWE-benchが34.08→51.56、PinchBenchが66.11→85.37まで伸びます。

Q. NeMo Switchyardは必須ですか?

必須ではありません。Lightning単体でもOllama・vLLM・各社APIからそのまま使えます。Switchyardは「難しいタスクだけ上位モデルへ回してコストを下げる」ためのルーターで、複数モデルを併用する構成で初めて意味を持ちます。しかもpre-alphaのため、まずはLightning単体で自社タスクの精度を測り、上位モデル併用が必要と分かってから検討する順番が安全です。

Q. Macでも動きますか?

Apple Silicon向けにMLX形式のタグ(:30b-a3b-mlx / :30b-mlx、約23GB)が用意されています。ただし統合メモリの容量に応じてコンテキスト長が自動調整されるため、長文脈を扱いたい場合は48GB以上のメモリを搭載したモデルが望ましくなります。

Q. NVFP4版とBF16版はどちらを使うべきですか?

推論目的ならNVFP4版が基本です。ベンチマークでもBF16からほぼ劣化しておらず、SWE-bench Verifiedではむしろ上回っています。BF16版は、公式モデルカードが示すとおり事後学習(SFT・RL・蒸留)やドメイン適応、量子化派生の作成といった開発工程向けの位置づけです。

Q. 出力速度が「4倍」と聞きましたが、必ずその速度が出ますか?

出ません。4倍という数値は同サイズ帯のオープンモデルとの比較におけるNVIDIAの測定値です。実際の速度は、量子化形式・GPU世代・並列数・投機的デコードの設定・ホスティングプロバイダによって大きく変わります。プロバイダ間だけでも実測値に約4.4倍の開きが確認されています。

まとめ

Nemotron 3.5 Lightningは、「賢さ」ではなく「同じ作業を安く速く繰り返す能力」に振り切ったオープンウェイトモデルです。総合知能の指標では中位に留まる一方、エージェント特化評価では自分より4倍大きいNemotron 3 Superを上回ります。

導入判断のポイントを整理すると、次のようになります。

  • サイズは前世代Nemotron 3 Nanoと同じ30B-A3Bのまま、エージェント性能だけが大きく伸びている(SWE-bench +17.5pt、PinchBench +19.3pt)
  • 料金は入力$0.05/出力$0.20(100万トークンあたり)、ローカル実行なら無料。無料で試すルートも3つある
  • 速い理由は構造にある(Attention層6/52層によるKVキャッシュの小ささ、MTPの事前統合、DSpark/DFlash、NVFP4)
  • 計画は上位モデル、実行はLightningという役割分担が公式の想定であり、単体での万能性は期待しない
  • VRAM24GB未満ではコンテキストが4Kまで縮むなど、カタログスペックと実効値の差に注意が必要

自社データを外に出さずにAIエージェントを常時稼働させたい、かつAPI料金を抑えたい——という条件に当てはまるなら、現時点で有力な候補のひとつです。まずはbuild.nvidia.comかOpenRouterの無料枠で自社タスクの精度を確認し、そのうえでローカル実行への移行を検討する流れが安全です。

AIツールの導入でお困りですか?

お客様のビジネスに最適なAIツールをご提案します。まずは無料相談から。

この記事の著者

AI革命

AI革命

編集部

AI革命株式会社の編集部です。最新のAI技術動向から実践的な導入事例まで、企業のデジタル変革に役立つ情報をお届けしています。豊富な経験と専門知識を活かし、読者の皆様にとって価値のあるコンテンツを制作しています。

採用募集中 AI時代の実装力が、身につく。FDE募集中・副業可・未経験歓迎枠あり
AI Revolution Growth Arrow

AIでビジネスを革新しませんか?

あなたのビジネスにAIがどのような価値をもたらすかをご提案いたします。