NVIDIA Nemotron VoiceChat 11Bとは?ツール呼び出し対応初のオープン全二重音声モデルの仕組み・遅延450ms・使い方を解説

この記事のポイント
NVIDIA Nemotron VoiceChat 11Bは、会話を止めずにツールを呼べる初のオープン全二重音声モデルです。Mamba/Transformerハイブリッド構成、遅延450msのベンチマーク、配布元ごとに違うライセンス、使い方、日本語で作る場合の選択肢、GPT-Live-1などとの違いを整理しました。
NVIDIA Nemotron VoiceChat 11B(正式名: NVIDIA NemotronLabs VoiceChat 11B)は、聞くことと話すことを同時に行う全二重(フルデュプレックス)の音声対話モデルです。2026年8月3日にHugging Faceで重みが公開されました。公式によると、会話を止めずに外部ツールを呼び出せるオープンな全二重モデルはこれが初めてで、話者交代(ターンテイキング)の応答遅延は約450ms(448ms)です。
ただし2026年11月時点でもバージョンはv1.0のままで、英語のみ対応、80GB以上のメモリを持つGPUが必要です。日本語の音声ボットをすぐに作りたいなら、ホスト型APIのGPT-LiveやGemini 3.8 Live、またはNVIDIAが日本語向けに公開しているカスケード型の構成のほうが現実的です。
この記事でわかること
- Nemotron VoiceChat 11Bの正体と、「初のオープン全二重モデル」という表現の正しい意味
- Mamba/Transformerハイブリッドを含む構成と、ツール呼び出しの仕組み
- 公式ベンチマーク(論文v2の追加指標を含む)とArtificial Analysisの第三者評価
- 配布元ごとに違うライセンス表記と、Experimental NIMとしての扱い
- 料金(実質コスト)・動作環境・導入手順
- 日本語の音声エージェントを作る場合の選択肢と、GPT-Live-1・Gemini 3.8 Live・PersonaPlex・Moshiとの違い
こんな方向けの記事です: 音声AIエージェントを自社インフラで動かしたい開発者・研究者、ボイスボット導入でAPI以外の選択肢を探しているIT担当者、オープンな音声モデルの動向を追っている方。
Nemotron VoiceChat 11Bはどんなモデルか
Nemotron VoiceChat 11Bは、「音声を聞く→考える→ツールを呼ぶ→話す」を1つのモデルでストリーミング処理する、英語専用・自前ホスト前提のオープンウェイト音声エージェント基盤です。特徴は次の3点です。
- ツール呼び出しに対応したオープン全二重モデル: 会話中にAPIを呼び、待ち時間は「保留メッセージ」を話してつなぎます。オープンな全二重モデルでツール呼び出しに対応したのは、公式発表時点でこのモデルが最初です
- 応答は速いが、ツールの精度はまだ発展途上: 応答遅延は約450msと速い一方、ツール引数の正解率は42.2%、ツール実行の成功率(Pass@1)は33%にとどまります
- 導入のハードルは高め: 英語のみ・声は1種類・会話の文脈は約2分まで・80GB級GPUが必要です。NGCでは「Experimental(実験的)」扱いで、NVIDIAのサポート対象外です
研究開発やPoC、データを外部APIに出せない英語圏向けサービスには有力な選択肢です。一方で、日本語のコールセンター自動化にそのまま使うことはできません。
「初のオープンウェイト全二重音声モデル」は正確ではない
「初のオープンウェイト全二重音声モデル」と紹介されることがありますが、これは誤りです。オープンな全二重音声モデルは、Kyutaiの「Moshi」や、NVIDIA自身の「PersonaPlex」(7B、2026年1月公開)など、以前から公開されています。
公式モデルカードの表現は「the first open full-duplex model to support tool calling(ツール呼び出しに対応した初のオープン全二重モデル)」です。新しいのは「全二重であること」ではなく、「全二重のまま会話を止めずにツールを呼べること」です。
NVIDIA Nemotron VoiceChat 11Bの基本情報

出典: Hugging Face(NVIDIA公式モデルカード)
Nemotron VoiceChat 11Bは、NVIDIAが開発した11Bパラメータのエンドツーエンド音声対話モデルです。Hugging Faceのリポジトリ名は nvidia/NVIDIA-NemotronLabs-VoiceChat-11B で、論文の著者は56名にのぼります。
項目 | 内容 |
|---|---|
正式名称 | NVIDIA NemotronLabs VoiceChat 11B |
開発元 | NVIDIA |
公開日 | 2026年8月3日(Hugging Faceで重みを公開) |
バージョン | v1.0(2026年11月時点で更新版の発表なし) |
パラメータ数 | 約11B |
種類 | エンドツーエンドのリアルタイム全二重音声対話モデル(Speech-to-Speech) |
入力 | テキスト(プロンプト)+音声(16kHz) |
出力 | エージェントのテキスト・音声(22.05kHz)、ユーザー発話の書き起こし |
対応言語 | 英語のみ |
声 | 固定の1種類(ボイスクローン非対応) |
会話の文脈 | 学習時の音声コンテキストは最大2分 |
ライセンス | 重み(Hugging Face)はOpenMDW License Agreement v1.1。配布物によって条件が異なる |
動作環境 | Linux、80GB以上のメモリを持つNVIDIA GPU(A100・H100・B200など) |
推論エンジン | vLLM |
論文 | arXiv:2609.21967(2026年9月18日 v1、10月1日 v2) |
学習には約55万時間の音声が使われています。実音声と、テキストコーパスを複数のTTSで読み上げた合成音声の組み合わせです。公式モデルカードには、Nemotronの事前学習・SFT用テキスト、UltraChat、Fisher、LibriVox、LibriTTS、HiFi-TTS、VCTK、Nemotron Nano v3の関数呼び出しデータなどがソースとして挙げられています。ラベル付けは自動で行われています。
なお、公開日の表記は配布元ごとに違います。NGCのモデルページは2026年7月16日、推論コンテナは7月21日をリリース日としています。
「Nemotron 3 VoiceChat(12B)」との関係
2026年3月には、前身とみられる「Nemotron 3 VoiceChat」(12B)がEarly Access(申込制の先行提供)として公開されていました。NVIDIA開発者サイトでは、モデル本体、デプロイ用のリファレンスコンテナ、ベンチマーク結果、ファインチューニングの手順を提供する、エンタープライズ向けの全二重モデルと説明されています。
今回の「NemotronLabs VoiceChat 11B」との正確な関係(改名なのか別バージョンなのか)は、現時点で公式に説明されていません。評価記事を読むときは、11Bと12Bのどちらの数値なのかを確認してください。
従来の音声AIとの違い:カスケード型ではなく統合型
Nemotron VoiceChat 11Bの最大の特徴は、音声認識(ASR)→大規模言語モデル(LLM)→音声合成(TTS)の3つを直列につなぐ「カスケード型」ではなく、1つのモデルで処理する点です。
カスケード型のボイスボットは、ユーザーが話し終わるのを待ってから書き起こし、LLMで回答を作り、TTSで読み上げます。モデル間の受け渡しが積み重なるため「間」が生まれやすく、ユーザーが途中で口を挟んだときの処理も別に作り込む必要があります。
比較項目 | カスケード型(ASR→LLM→TTS) | Nemotron VoiceChat 11B(統合型・全二重) |
|---|---|---|
構成 | 3つのモデル・サービスを連結 | 1つのモデル |
聞く・話す | 交互(半二重が基本) | 同時(全二重) |
割り込み(バージイン) | 別途実装が必要 | モデル自体が対応 |
遅延 | 各段の処理時間が積み上がる | 約450ms(公式ベンチマーク) |
部品の差し替え | 各モデルを個別に交換できる | モデル全体で入れ替え |
日本語対応 | 日本語対応の部品を選べば可能 | 非対応(英語のみ) |
カスケード型にも「日本語対応の部品を自由に組み合わせられる」「LLMを高性能なモデルに差し替えやすい」という利点があります。統合型が常に優れているわけではなく、遅延と自然さを取るか、柔軟性と賢さを取るかの選択です。音声合成単体の選択肢はElevenLabs v3とはも参考になります。
アーキテクチャ:Mamba/Transformerハイブリッドの意味

公式はNemotron VoiceChat 11Bの構成を「Hybrid Mamba/Transformer」と説明しています。ただし、この「ハイブリッド」はLLMバックボーン(頭脳にあたる部分)の構造を指しており、モデル全体がMambaでできているわけではありません。
モデルは大きく4つの部品でできています。
部品 | 中身 | 役割 |
|---|---|---|
音声エンコーダ | Fast Conformer(Nemotron-Speech-Streaming-En-0.6b由来) | 16kHzの音声をストリーミングで読み取る |
LLMバックボーン | Nemotron Nano v2 9B(Mamba/Transformerハイブリッド) | 発話の理解、応答の生成、ツール呼び出しの判断 |
音声出力 | NVIDIA TTSデコーダ+ストリーミングコーデック | 22.05kHzの音声で応答を話す |
ツール呼び出し用チャネル | 発話とは別の出力ストリーム | ツール呼び出しの文字列を出す(発話に混ざらない) |
論文によると、これに加えてユーザーの発話を逐次書き起こす補助的なRNN-Tの枝があり、聞く・書き起こす・考える・ツールを呼ぶ・話すを1つのストリーミングシステムで同時に行う設計です。
MambaとTransformerを組み合わせる理由
Mambaは「状態空間モデル」と呼ばれる系列処理の仕組みで、入力が長くなっても計算量やメモリが急に増えにくいのが特徴です。音声のように途切れなく流れ込むデータを少しずつ処理するストリーミング用途と相性が良いとされています。
一方、Transformerの注意機構(アテンション)は、文脈の離れた位置にある情報を正確に参照するのが得意です。一般的にハイブリッド構成は、大部分をMambaにして処理を軽くし、要所にアテンション層を残して精度を保つ狙いで採用されます。NVIDIAは同じ考え方をNemotron 3 Nano Omniなど他のNemotron系モデルにも採用しています。
論文では、H100 1基で4本の会話ストリームを同時に処理した場合、160msの音声チャンクあたりのp95推論遅延が118msで、リアルタイムの1.36倍の処理速度を確保できたと報告されています。
Nemotron VoiceChat 11Bでできること

Nemotron VoiceChat 11Bでできることは、自然なリアルタイム会話と会話を止めないツール呼び出しの2つです。
全二重の自然な会話と割り込み対応
ユーザーの声を聞きながら同時に話せるため、人同士の会話に近い話者交代ができます。AIの発話中にユーザーが割り込む「バージイン」にも対応しており、公式ベンチマークでは割り込み時の応答遅延は480msです。
論文では、評価したオープンウェイト系モデルの中で「ユーザーの言葉の間(ポーズ)で不要に割り込む」率が最も低かったとされています。割り込まれた後に応答を引き継ぐ率は100%、割り込み後の応答品質は5点満点で4.33でした。論文v2では、ユーザーの相づちの後に自分の発話を再開できる率が93%(Full-Duplex-Bench 1.5)という結果も加わっています。
会話を止めずに外部ツールを呼び出す
もう1つの柱が、会話中のツール呼び出し(Function Calling)です。たとえば「明日のニューヨークの天気は?」と聞かれると、モデルは天気APIを呼び出し、結果を受け取って音声で答えます。
ツール呼び出しは、次の3つの仕組みで動きます。
- 専用チャネルで出力: ツール呼び出しの文字列は発話とは別のストリームに出るため、
{"name": ...}のような文字列が読み上げられることはありません - 保留メッセージ(on-hold message): ツールごとに「確認しますので少々お待ちください」のような保留メッセージを定義できます。LLMがツール呼び出しのきっかけになるテキストを生成した時点でこれを話し始め、API実行中の無音を埋めます
- 決まった書式でやり取り: ツール定義はシステムプロンプト内の
<AVAILABLE_TOOLS>にJSONで書き、呼び出しは<TOOLCALL>[...]</TOOLCALL>、結果は<TOOL_RESPONSE>...</TOOL_RESPONSE>で返します
従来の音声エージェントでは、ツールを呼ぶたびに会話が止まり、数秒の沈黙が生まれがちでした。保留メッセージで「間」を埋める設計は、電話応対のように沈黙が不安につながる場面で役に立ちます。公式は、ツールの選び方の精度について「フロンティアモデルと競合できる水準」と説明しています。
公式ベンチマークと第三者評価
Nemotron VoiceChat 11Bは、会話の速さ・自然さでは強い一方、ツールの引数や音声での推論力にはまだ課題があるというのが、公式値と第三者評価を合わせた全体像です。
公式ベンチマーク
評価項目 | 結果(公式) |
|---|---|
話者交代の応答遅延(Full-Duplex-Bench 1.0) | 448ms(スムーズな交代の成功率0.82) |
ユーザー割り込み時の応答遅延 | 480ms(引き継ぎ率100%、品質4.33/5) |
相づちの後に発話を再開する率(Full-Duplex-Bench 1.5、論文v2) | 93% |
Full-Duplex-Bench 1.0 総合 | オープンモデル中2位 |
VoiceBench | オープン全二重モデル中2位(論文v2の正規化平均55.1) |
ツール選択(Full-Duplex-Bench v3) | 82.5% |
ツール引数の正解率(同上) | 42.2% |
ツール実行の成功率 Pass@1(同上) | 33% |
関数呼び出しのベンチマークAU Harness BFCL-v3の結果は次のとおりです。
BFCL-v3の項目 | スコア |
|---|---|
Simple(単一ツール) | 58.5% |
Multiple(複数候補から選択) | 62.5% |
Parallel(並列呼び出し) | 42.5% |
Parallel Multiple | 27.5% |
Irrelevance(呼ぶべきでない場面の判定) | 89.6% |
平均 | 56.1% |
論文でも「どのツールを呼ぶかの振り分けは、引数の抽出やエンドツーエンドの実行よりはるかに強い」と述べられています。言い換えると、使うべきツールは8割ほど当たるが、正しい引数で最後まで実行できるのは3回に1回程度です。
なお「遅延450ms」はFull-Duplex-Bench 1.0という評価環境での測定値です。実際のサービスでは、ネットワークの往復やGPUの混み具合で体感の遅延は変わります。
第三者評価(Artificial Analysis)
独立評価機関Artificial AnalysisのSpeech-to-Speechリーダーボード(2026年11月20日に確認)では、「NVIDIA Nemotron Voicechat」は音声での推論(Big Bench Audio)27.0%、会話の流れ(Full Duplex Bench)52.9%です。主なモデルと並べると次のようになります。
モデル | 音声での推論(Big Bench Audio) | 会話の流れ(Full Duplex Bench) |
|---|---|---|
NVIDIA Nemotron Voicechat | 27.0% | 52.9% |
NVIDIA PersonaPlex | 19.1% | 91.0% |
Kyutai Moshi | 4.4% | 61.0% |
OpenAI GPT-Live-1(Sol, low) | 89.0% | 97.3% |
Google Gemini 3.8 Live | 91.7% | 96.1% |
Google Gemini 3.8 Live Extended Thinking(High) | 97.7% | 91.9% |
ここから読み取れるのは、オープンモデルの中では音声での推論力が最も高い一方、会話の流れではPersonaPlexやMoshiのほうが上という点です。クローズドなAPIとの比較では、特に推論力に大きな差があります。
この「会話の流れ」の数値は、公式のFull-Duplex-Bench 1.0とは評価方法が違うため、公式値と直接比べることはできません。また、前身とみられるNemotron 3 VoiceChat(12B)は2026年3月の評価で会話の流れ77.8%、推論29.2%と報告されており、版や時期によって数値が変わる点にも注意が必要です。
弱み・既知の制約
Nemotron VoiceChat 11Bは、公式GitHubリポジトリで多くの「既知の制約(Known limitations)」を自ら公開しています。本番導入を考えるなら、性能値よりもこの制約一覧を先に確認すべきです。
分類 | 主な制約(公式) | 実務への影響 |
|---|---|---|
言語・声 | 英語のみ/声は1種類/ボイスクローン不可 | 日本語サービスには使えない。ブランド独自の声を作れない |
会話の長さ | 学習時の音声コンテキストは最大2分 | 長い通話では前半の内容を保てない可能性 |
知識・推論 | バックボーンのNemotron Nano 9B v2より知識・指示追従・安全性が劣る場合がある。推論・計算が苦手 | 複雑な問い合わせ対応には向かない |
信頼性 | ハルシネーションがある。何ターンか続くと意味の通らない出力に崩れることがある | 会話の監視と打ち切りの仕組みが必要 |
音声出力 | 発話の途中終了、ループ、繰り返しや崩れた断片。ユーザーが黙っていても話し続けることがある | ユーザー体験を損なう場面がある |
話者交代 | 相づちの扱いが苦手。文の途中の間でユーザーを遮ることがある | 会話が噛み合わない場面が出る |
指示追従 | 応答の長さや言語がぶれることがある | プロンプトだけで品質を固定しにくい |
ツール呼び出し | 1セッション最大5ツールを推奨/複数ツールの同時呼び出しは不安定/ツール実行中は割り込み不可/引数の捏造や呼び出しのスキップ/雑談が混ざると記憶から答えてしまうことがある | 引数の検証とリトライの仕組みが必須 |
書き起こし | ユーザー発話の先頭や途中の単語が抜けることがある | ログをそのまま監査に使いにくい |
環境 | 雑音・残響が多い場所、背景で人が話す場所には不向き | コールセンターや店舗では精度が落ちやすい |
ハードウェア | 80GB以上のメモリを持つGPUが必要 | 一般的なPCやゲーミングGPUでは動かない |
開発体制 | 公開ブランチは実験的で、外部からの貢献を受け付けていない | 不具合の修正をコミュニティに頼れない |
Macやローカル環境で動くか
一般的な家庭用PCでは動きません。Apple Silicon向けにコミュニティのMLX変換版が出ていますが、これはNVIDIA公式ではなく、変換版の説明ではConformer音声エンコーダと全二重のループ処理に対応していません。LLM部分とコーデックが動くだけで、全二重の会話にはなりません。コミュニティ版は更新される可能性があるため、使う前に配布ページで最新の対応状況を確認してください。
手元のNVIDIA製マシンでローカルAIを動かす選択肢は、NVIDIA RTX Sparkとはで整理しています。
料金・ライセンス:モデルは無料、実質コストはGPU
Nemotron VoiceChat 11Bの重みは無料で、ライセンス料はかかりません。実際にかかるのは、80GB級GPUを動かすインフラ費用と運用の手間です。NVIDIAがホストするAPIとしての一般提供と料金は、2026年11月時点で確認できていません。
ライセンス:配布物ごとに条件が違う
ライセンスは「どこから何を取得するか」で変わります。商用利用の可否が配布物ごとに分かれていて、単純に「使える」「使えない」と判断できないのが、このモデルで最も注意すべき点です。
配布元・配布物 | 公式の表記 |
|---|---|
Hugging Face(モデルの重み) | OpenMDW License Agreement v1.1 |
NGCのモデルページ(NIM配下) | OpenMDW 1.1としつつ「ready for research purposes only(研究目的向け)」と記載。ラベルは「Experimental」 |
NGCの推論コンテナ(タグ1.0.0) | NVIDIA Software and Model Evaluation Licenseに基づく。「商用・非商用利用の準備ができている」と記載 |
OpenMDW 1.1はLinux Foundationが策定した寛容型のライセンスで、ロイヤリティなしで商用利用や派生モデルの作成を認めています。再配布するときはライセンス文と表示を残す必要があります。同じOpenMDW 1.1を採用したNemotron系の例にはNemotron 3.5 Lightningとはがあります。
一方で、リアルタイム会話に使う推論コンテナは、重みとは別の評価用ライセンス(Evaluation License)で配布されています。重みとコンテナで適用される条件が違うため、商用サービスに組み込む前に、使う配布物ごとの最新の条件を法務担当と確認してください。
Experimental NIMとしての扱い
推論コンテナはNGCの「Experimental NIM: Nemotron Speech」コレクションに入っています。NVIDIAはExperimental NIMについて、次のように説明しています。
- 新しいモデルやコミュニティモデルを早く試すための評価用
- NVIDIA AI Enterpriseのサポート対象外
- 予告なく変更・削除される可能性がある
- 本番環境ではCertified NIMの利用を推奨
つまり、NVIDIAとしても本番運用を前提にした提供ではありません。長期運用を考えるなら、使うコンテナのバージョンを固定し、自社で保管しておく運用が必要です。
他の音声AIとの料金比較
モデル | 提供形態 | 料金(2026年11月時点) |
|---|---|---|
Nemotron VoiceChat 11B | オープンウェイト(自前GPU) | 無料(GPU費用は別) |
OpenAI GPT-Live-1 | API | 稼働中のセッション $0.05/分、待機中のセッション $0.02/分(秒単位課金)。バックエンドのモデル呼び出し・ツールは別料金(OpenAI公式) |
Google Gemini 3.8 Live | API | 音声入力 $3.00・音声出力 $12.00、テキスト入力 $0.75・出力 $4.50(いずれも100万トークンあたり)。無料枠あり(最新額はGoogleの料金ページで要確認) |
Gemini 3.8 Liveを分単位に直すと、音声入力は約$0.005/分、音声出力は約$0.018/分が目安とされています(料金比較サイトの試算)。トークン課金は会話の中身で費用が変わるため、見積もりには実際の通話ログで試算するのが確実です。
API従量課金と自前GPUのどちらが安いか
判断のポイントは同時接続数と稼働率です。GPT-Live-1は稼働中のセッションが$0.05/分なので、連続して話し続けると1時間あたり約$3(バックエンド費用は別)です。自前GPUは、会話がない時間にも費用がかかります。
論文の条件(H100 1基で4会話を同時処理)を前提にすると、考え方は次のとおりです。
- 自前GPUの1会話あたり時間単価 ≒ GPUの1時間あたり費用 ÷ 同時に処理できる会話数 ÷ 稼働率
- 仮にGPU費用が1時間$4、4会話を同時処理、稼働率50%なら、1会話あたり1時間$2程度
GPUの時間単価はクラウド事業者や契約によって大きく変わり、運用・保守の人件費も加わります。通話量が少ない、または時間帯の偏りが大きい場合はAPIのほうが安くなりやすく、24時間大量の英語通話をさばく場合に自前GPUの利点が出てきます。
使い方:導入の流れとコマンド

出典: GitHub(NVIDIA-NeMo/Speech)
Nemotron VoiceChat 11Bの使い方は、オフライン推論で挙動を確かめる方法と、NVIDIAの推論コンテナでリアルタイム会話を動かす方法の2つです。どちらもLinuxと80GB以上のメモリを持つNVIDIA GPUが前提です。
方法1:オフライン推論(Conda)
公式リポジトリの nemotron-labs-voicechat ブランチの手順では、WAVファイルを入力し、応答の音声とテキストを出力します。流れは次のとおりです。
git clone https://github.com/NVIDIA-NeMo/Speech.git
cd Speech && git switch nemotron-labs-voicechat
conda create -y -n voicechat python=3.12
conda activate voicechat
pip install -e ".[all]" # PyTorchなどの指定バージョンはREADMEに従う
hf download nvidia/NVIDIA-NemotronLabs-VoiceChat-11B --local-dir /path/to/checkpoint
python examples/speechlm2/offline_voicechat_infer.py \
--checkpoint /path/to/checkpoint --wav sample.wav --output-dir /outputツール呼び出しを試すときは offline_voicechat_fc_infer.py を使い、--api-response-json で用意したツールの応答を渡します。このモードは実際のツールを呼ばず、事前に書いた応答を返すだけです。ライブラリのバージョンは細かく指定されているため、既存の環境に混ぜず専用のConda環境を作るのが安全です。
方法2:推論コンテナでリアルタイム会話
マイク入力でのリアルタイム会話や、実際にツールを実行する会話を試すには、NVIDIAの最適化済み推論コンテナを使います。CUDA・Triton・vLLMが同梱されており、関数呼び出しに対応した双方向WebSocketでクライアントと接続します。
NGCのコンテナは圧縮時で約10.55GBで、マルチノード構成には対応していません。起動の手順はリポジトリ内の voicechat_realtime_instructions フォルダ(deploy.md、prerequisites.md、api-reference.mdなど)にまとまっています。取得前に、コンテナのライセンス(Evaluation License)も確認してください。
ツールを定義するときのポイント
ツールはシステムプロンプト内の <AVAILABLE_TOOLS> に、名前・説明・パラメータ(必須項目の指定を含む)をJSON配列で書きます。モデルが呼び出しを決めると <TOOLCALL> で関数名と引数を出し、アプリ側で実行した結果を <TOOL_RESPONSE> で返します。イメージは次のとおりです(正確なスキーマは公式リポジトリで確認してください)。
<AVAILABLE_TOOLS>
[{"name": "get_weather",
"description": "Get the weather forecast for a city",
"parameters": {"type": "object",
"properties": {"city": {"type": "string"}, "date": {"type": "string"}},
"required": ["city"]}}]
</AVAILABLE_TOOLS>
モデルの出力: <TOOLCALL>[{"name": "get_weather", "arguments": {"city": "New York", "date": "tomorrow"}}]</TOOLCALL>
アプリの返答: <TOOL_RESPONSE>{"forecast": "Sunny, high of 72 degrees"}</TOOL_RESPONSE>設計時に守る点は4つです。
- システムプロンプトとツールの応答はASCII文字のみで、TTSで読み上げやすい形にする
- ツールは1セッション5個以内に絞る
- 時間のかかるツールには保留メッセージを付け、処理は非同期にする(ツール実行中はユーザーが割り込めないため)
- 長いツール応答は遅延の原因になるので、必要な項目だけを短く返す
本番運用で必要な安全設計
ツール引数の正解率が4割強である以上、モデルの出力をそのまま実行しない設計が欠かせません。
- サーバー側で引数を検証する: 型・値の範囲・必須項目を確かめ、不正なら聞き返すかやり直す
- 取り消せない操作を直結しない: 決済、予約の確定、データ削除などは、人の確認や二段階の承認を挟む
- 会話の打ち切りを用意する: 話し続ける、同じ応答を繰り返す、意味の通らない出力になるといった異常を検知してセッションを終える
- リスクの高い領域では回答を検証する: ハルシネーションがあるため、医療・金融などで検証なしに回答させない
- データ管理を自社で設計する: 自前ホストなら音声データを外に出さずに済む一方、録音の同意、ログの保存期間、アクセス制御は自社の責任になる
NVIDIAも「信頼できるAIは共同責任(Trustworthy AI is a shared responsibility)」として、利用者自身が業界や用途の要件を満たすか検証するよう求めています。AIエージェント全般の安全設計の考え方はAIエージェントとはでも解説しています。
予約や顧客管理など自社の業務システムに音声エージェントをつなぐ場合は、モデルの選定に加えて、引数の検証やログ管理を含む連携部分の開発が必要になります。組み込み方と費用の目安はAI開発の費用相場にまとめています。
他の音声AIモデルとの違い
オープンで自前で動かせて、しかもツールを呼べる点はNemotron VoiceChat 11Bならではの強みです。ただし、日本語対応・賢さ・導入のしやすさではホスト型APIが上回ります。主な選択肢を比べると次のとおりです。
比較項目 | Nemotron VoiceChat 11B | NVIDIA PersonaPlex | Kyutai Moshi | OpenAI GPT-Live-1 | Google Gemini 3.8 Live |
|---|---|---|---|---|---|
提供形態 | オープンウェイト(自前GPU) | オープンウェイト | オープンウェイト | API | API |
パラメータ | 約11B | 約7B(Moshiベース) | 約7B | 非公開 | 非公開 |
料金 | 無料(GPU費用別) | 無料(GPU費用別) | 無料(GPU費用別) | $0.05/分(待機中$0.02/分)+バックエンド費用 | トークン課金・無料枠あり |
全二重 | 対応 | 対応 | 対応 | 対応 | リアルタイム対話に対応 |
ツール呼び出し | 対応(会話を止めずに実行) | 非対応 | 非対応 | 対応(バックエンドのエージェントに任せる) | 対応 |
日本語 | 非対応 | 英語中心 | 英語中心 | 多言語 | 多言語 |
声 | 1種類・クローン不可 | 音声サンプルで声・人物設定を変更可 | 限定的 | 複数 | 複数 |
強み | 低遅延・データを外に出さない・ツール対応 | 会話の流れの自然さ、声と人物設定の柔軟さ | 先駆的な全二重モデル | 会話品質・推論力・導入の速さ | 推論力・無料枠 |
GPT-Live-1は、全二重の会話はモデルが担い、推論やツール利用はバックエンドのエージェントに任せる設計です。Nemotron VoiceChat 11Bが1つのモデルの中でツール呼び出しまで済ませるのとは考え方が違います。各サービスの詳細はGPT-Liveとは、GPT-Realtime-2とは、Gemini 3.8 Liveとは、Microsoftの全二重モデルを扱ったMAI-Realtimeとはで解説しています。
用途別の選び分け
やりたいこと | おすすめ |
|---|---|
日本語のボイスボット・電話応対を早く作りたい | GPT-Live-1 / Gemini 3.8 Live |
日本語の音声エージェントを自社GPUで動かしたい | NVIDIAの日本語向けカスケード構成(ASR+Nemotron 3 Nano+Magpie TTS) |
英語の音声エージェントを自社GPUで動かしたい | Nemotron VoiceChat 11B |
音声データを外部APIに送れない(英語) | Nemotron VoiceChat 11B |
会話の流れの自然さや、声・人物設定の柔軟さを重視したい(研究用途) | PersonaPlex |
全二重会話の研究・比較の土台がほしい | Moshi / PersonaPlex / Nemotron VoiceChat 11B |
複雑な質問に正確に答える必要がある | GPT-Live-1 / Gemini 3.8 Live(推論力が高い) |
会議・通話のリアルタイム翻訳 | Gemini 3.5 Live Translateなどの翻訳特化サービス |
導入判断の目安
次の質問に順に答えると、Nemotron VoiceChat 11Bを検討すべきかを絞り込めます。
- 会話の言語は英語だけか? → いいえなら、ホスト型APIか日本語向けのカスケード構成を選ぶ
- 80GB級GPUを用意できるか(クラウドを含む)? → いいえなら、APIを選ぶ
- 音声データを外部に出せない、または大量通話でAPI費用が重いか? → はいなら、Nemotron VoiceChat 11Bが有力
- 1回の会話は2分程度に収まり、ツールは5個以内か? → はいなら、PoCに進む価値がある
- ツールの誤実行を防ぐ検証の仕組みを作れ、サポートなしの実験版でも運用できるか? → いいえなら、本番利用はまだ早い
日本語の音声エージェントを作りたい場合の選択肢
Nemotron VoiceChat 11Bは英語専用のため、日本語で作るならホスト型APIを使うか、NVIDIAが公開している日本語向けのカスケード構成を自社GPUで動かすかの2択が現実的です。
ホスト型API:早く作るならこちら
GPT-Live-1やGemini 3.8 Liveは多言語に対応しており、GPUを用意せずに始められます。推論力もオープンモデルを大きく上回るため、問い合わせ対応のように正確さが求められる用途では、まずこちらを比較するのがおすすめです。
NVIDIA公式の日本語カスケード構成:自社GPUで動かすならこちら
NVIDIAは2026年8月26日、日本語の開発者ブログで、3つのNIMをつないで日本語の音声エージェントを作る手順を公開しています。VoiceChatのような統合型ではなく、カスケード型の構成です。
役割 | 使うNIM |
|---|---|
音声認識(ASR) | Nemotron ASR Streaming Multilingual(日本語を含む40ロケールのストリーミング認識) |
言語モデル(LLM) | NVIDIA Nemotron 3 Nano(日本語を含む多言語対応の小型MoE) |
音声合成(TTS) | Magpie TTS Multilingual(日本語の声を選べる) |
全体の制御 | Nemotron Voice Agent Blueprint v2.0.0(ブラウザとWebSocketで接続、本番はWebRTCを推奨) |
ブログの構成例では、96GBのRTX PRO 6000 Blackwell Max-Q Workstation Edition 1枚に3つのNIMとエージェントを載せています。モデルデータはLLMが約31GB、ASRが4.3GB、TTSが3.9GBです。応答遅延の具体的な数値は示されておらず、全二重の会話にも言及はありません。とはいえ、日本語で、データを外に出さずに音声エージェントを動かしたい場合は、NVIDIAの部品で組める現時点の現実的な選択肢です(出典: NVIDIA Developer Blog(日本語))。
Nemotron VoiceChat 11Bはこんな人におすすめ
おすすめの人
- 英語の音声エージェントを自社のGPU基盤で動かしたい開発者・研究者
- 金融・医療・公共など、音声データを外部APIに送れない英語圏向けサービスを開発しているチーム
- 全二重会話やツール呼び出しの研究、ファインチューニングの元になるオープンモデルを探している研究機関
- 大量の英語通話をさばいていて、分単位のAPI課金が重くなっている事業者
- すでにH100などのGPUを持っていて、空いている計算資源を活かしたい企業
おすすめしない人
- 日本語の音声ボット・電話応対を作りたい人
- 80GB級のGPUを用意できない個人・小規模チーム
- 複数の声やボイスクローン、ブランド専用の声が必要な人
- 2分を超える長い通話や、複雑な相談対応を任せたい人
- 決済や予約確定など、引数の正確さが欠かせない操作を検証なしで任せたい人
- メーカーのサポートや長期の提供保証を前提に本番運用したい人
- 雑音の多いコールセンターや店舗でそのまま使いたい人
日本語のコールセンターでボイスボットを導入する進め方は、コールセンターのAI活用で整理しています。
よくある質問(FAQ)
Q. Nemotron VoiceChat 11Bは日本語で使えますか?
使えません。公式のモデルカードとGitHubリポジトリでは英語のみとされており、2026年11月時点で多言語対応の発表もありません。日本語で自社GPUを使いたい場合は、NVIDIAの日本語ブログで紹介されているASR・LLM・TTSを組み合わせる構成が候補になります。
Q. 無料で試せるWebデモはありますか?
ChatGPTのような一般向けのWebアプリは提供されていません。重みのダウンロードは無料ですが、動かすには80GB以上のGPUを積んだLinux環境が必要です。手元にGPUがない場合は、クラウドのGPUインスタンスを時間単位で借りて検証するのが現実的です。
Q. 商用サービスに組み込めますか?
使う配布物によって条件が違います。Hugging Faceの重みはOpenMDW 1.1で商用利用を認めていますが、NGCのモデルページは「研究目的向け」と書いており、推論コンテナは別の評価用ライセンスで配布されています。さらにExperimental NIMはNVIDIAのサポート対象外です。使う配布物ごとの条件を法務担当と確認したうえで判断してください。
Q. 「11B」と「12B」はどちらが正しいのですか?
2026年8月にHugging Faceで公開されたのは「NemotronLabs VoiceChat 11B」です。12Bは、2026年3月にEarly Accessとして提供された「Nemotron 3 VoiceChat」の表記です。両者の関係は公式に説明されていないため、ベンチマークを見るときはどちらの評価かを確認してください。
Q. ファインチューニングして日本語対応にできますか?
重みのライセンス上は派生モデルの作成が認められていますが、日本語化の手順は公式から出ていません。音声エンコーダ・LLM・TTSのすべてを日本語に対応させる必要があり、大量の日本語音声データと計算資源がかかります。一般企業が独自に取り組むのは負担が大きく、日本語ならカスケード構成を選ぶほうが早いでしょう。
Q. 声を変えたり、自社スタッフの声を再現したりできますか?
できません。声は固定の1種類で、ボイスクローンにも対応していません。研究用途で声や人物設定を変えたいなら同じNVIDIAのPersonaPlex、商用で複数の声を使いたいならホスト型APIが候補です。声を再現する場合は、本人の同意や権利の扱いにも注意が必要です。
まとめ
NVIDIA Nemotron VoiceChat 11Bは、全二重の音声会話と会話中のツール呼び出しを1つのモデルで実現したオープンウェイトの音声エージェント基盤です。「初のオープン全二重モデル」ではなく、「ツール呼び出しに対応した初のオープン全二重モデル」が正確な位置づけです。
- 応答遅延は約450msと速く、保留メッセージで沈黙を埋めながら会話中にAPIを呼べる
- LLMバックボーンはMamba/Transformerハイブリッドで、ストリーミング処理と相性が良い
- 英語のみ・声は1種類・会話の文脈は約2分・80GB級GPUが必要
- ツール選択は82.5%と高い一方、引数の正解率は42.2%、実行の成功率は33%
- 重み・NGCモデルページ・推論コンテナでライセンス表記が違い、コンテナはサポート対象外の実験版
現時点では「英語圏向けに、データを外に出さない音声エージェントを自前で作りたいチーム」のための研究・PoC向けモデルです。日本語の音声AIを業務に入れたいなら、まずGPT-LiveやGemini 3.8 Liveを比べ、自社GPUで動かしたい場合はNVIDIAの日本語向けカスケード構成を検討してください。Nemotron VoiceChatは、多言語対応や精度の向上を見守るのが現実的です。
依頼範囲と費用の目安を30分で整理します
この記事の著者

AI革命
編集部
AI革命株式会社の編集部です。最新のAI技術動向から実践的な導入事例まで、企業のデジタル変革に役立つ情報をお届けしています。豊富な経験と専門知識を活かし、読者の皆様にとって価値のあるコンテンツを制作しています。
最新記事

Claude Maxプランとは?料金(税込月約1.7万円)・Pro/Ultraとの違い・選ぶべき人を解説【2026年11月】
2026/04/02

ChatGPT Workとは?料金・使用上限・対応プラン、GPT-6.2対応とClaude Coworkとの違い【2026年11月】
2026/07/10

EU AI規制法(EU AI Act)完全施行ガイド|2026年8月2日に始まったこと・日本企業の対応義務
2026/06/06

Claude Agent SDK 課金変更【6月15日】は一時停止|Pro/Max/クレジット・実質値上げの今と10月のAPIクレジットを解説
2026/06/09

Anthropic Project Glasswing とは|AWS・Apple・Google・Microsoft・JPMorgan 12社連携Claude Mythosサイバー防衛100Mドル徹底解説
2026/05/25

OpenRouter経由のMiniMaxでプロンプト漏洩の可能性|ZDR指定でも読まれた理由と今すぐやる設定【2026年11月】
2026/11/22


