米エヌビディア、1200億パラメータのAI大規模モデル「Nemotron3 Super」を発表

米半導体大手のNVIDIA(エヌビディア)は11日、新たなオープンウェイトの大規模言語AIモデル(LLM)「Nemotron3 Super」を発表した。同モデルは同社がこれまで公開してきた中で最も強力なオープンモデルとされ、1200億のパラメータを備える。混合専門家(MoE:Mixture of Experts)アーキテクチャを採用し、大規模なAIエージェント(自律型AIシステム)の運用を前提に設計されている。
Nemotron3 Superは高度な推論能力を備え、自律型エージェントが複雑なタスクを高精度で実行できるよう最適化されている。すでにPerplexity(パープレキシティ)、Palantir Technologies、独Siemens(シーメンス)といった企業が、検索、ソフトウェア開発、通信、半導体設計などの主要業務ワークフローに導入しているという。
同モデルは最大100万トークンのコンテキストウィンドウを備えており、AIエージェントがワークフロー全体の状態をメモリ上に保持することを可能にする。これにより目標のずれを防ぎつつ、多段階推論のコストを大幅に削減できる。
アーキテクチャ面ではMoE構造の採用によりスループットを5倍に向上させ、前世代モデルと比べて精度は2倍に改善された。さらに「LatentMoE(潜在MoE)」と呼ばれる新技術を導入し、単一エキスパートの計算コストで4つのエキスパートを同時に活性化できる仕組みを実現。加えてマルチトークン予測にも対応し、推論速度を3倍に高めている。
エヌビディアは同モデルを極めてオープンな形で公開しており、寛容なライセンスの下でモデルの重みをオープンソース化しただけでなく、10兆トークン超の学習データセットや評価手法を含む完全なトレーニング方法も公開した。
現在、開発者はHugging Faceや主要クラウドサービスを通じて同モデルを利用できる。また同モデルは「NVIDIA NIM」マイクロサービスとしてパッケージ化されており、オンプレミスのデータセンターおよびクラウド環境へのシームレスな展開が可能となっている。
New NVIDIA Nemotron 3 Super Delivers 5x Higher Throughput for Agentic AI



