AIツール2026年11月更新

富士通PHOTONとは?Transformer比最大475倍効率の仕組み・性能・活用展望を徹底解説【ACL 2026掲載・2026年11月時点】

公開日: 2026/06/29
更新日: 2026/11/01
富士通PHOTONとは?Transformer比最大475倍効率の仕組み・性能・活用展望を徹底解説【ACL 2026掲載・2026年11月時点】

この記事のポイント

富士通PHOTONは、意味のまとまりを階層的に処理してGPUメモリを大幅に減らす研究段階のLLMアーキテクチャです。「最大475倍」が指す条件、Block Transformerとの差、品質の下がり幅、ACL 2026掲載後の状況(2026年11月時点で製品化は未発表)まで論文の数値で整理します。

PHOTON(フォトン)は、富士通が理化学研究所などと共同で研究し、2026年6月24日に発表したLLM(大規模言語モデル)向けの新しいモデルアーキテクチャです。文章を意味のまとまりごとに階層的に処理してGPUメモリを大幅に減らし、論文の条件下では「GPUメモリ1GiB当たりの出力効率」がTransformerの最大約475倍になったと報告されています。

ただし「475倍」は特定の条件で測った指標で、応答が475倍速くなる・料金が475分の1になるという意味ではありません。論文は2026年7月にACL 2026の本会議論文として掲載されましたが、2026年11月時点で製品化・API提供・コード公開はいずれも発表されていません。

この記事でわかることは次のとおりです。

  • PHOTONとは何か、6月の発表からACL 2026掲載までの経緯
  • 「最大475倍」がどのモデル・どの条件の数字なのか(3モデル×2条件の倍率表)
  • 既存の階層型手法「Block Transformer」と比べたときの、PHOTON独自の上積み
  • 階層処理・KVキャッシュ削減・マルチクエリー統合の仕組み
  • 品質がどれだけ下がるのか(論文の数値)と、まだ検証されていないこと
  • 企業のAI担当者が今の時点で取れる選択肢

想定読者は、生成AIの技術動向を追うエンジニア・研究者、GPUコストや推論インフラを検討する事業企画・情報システム担当、国産AI基盤の行方を知りたいビジネス層です。専門外の方でも読めるよう、たとえを交えて説明します。

補足: PHOTONは「光(フォトニクス/光半導体)」とは無関係です。名称は Parallel Hierarchical Operation for TOp-down Networks(トップダウンネットワークのための並列階層オペレーション)の頭字語で、光を使った計算技術とは異なります。

PHOTONとは|意味を階層的に処理してGPUを節約するLLMアーキテクチャ

PHOTONを発表した富士通の公式ブログのイメージ画像

出典: 富士通 公式ブログ

PHOTONは、文章をトークン(単語の断片)の横並びで処理する従来の方式をやめ、意味のまとまりを階層的に圧縮・再構成する方式に置き換えることで、推論時のGPUメモリ(特にKVキャッシュ)を大幅に減らすアーキテクチャです。ChatGPTやClaudeのようなサービスではなく、それらの「中身の設計図」にあたる研究成果です。

基本情報は次のとおりです(2026年11月1日時点)。

項目

内容

名称

PHOTON(Parallel Hierarchical Operation for TOp-down Networks)

開発

富士通(理化学研究所 革新知能統合研究センター、東京科学大学、東海大学との共同研究)

発表日

2026年6月24日(富士通が研究成果として発表)

位置づけ

Transformerの代わりを狙う、階層型の自己回帰モデル

論文

「PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation」(arXiv:2512.20687)

学会

ACL 2026 本会議 Long Paper として掲載済み(DOI: 10.18653/v1/2026.acl-long.1778)

検証規模

600M・900M・1.2B(6億〜12億)パラメータ

提供形態

研究段階。商用提供・API・コードやモデル重みの公開はいずれも未発表

料金

なし(製品ではないため)

論文の第一著者は富士通と理研AIPに所属する市川佑馬氏で、富士通の研究者5名による論文です。発表の一次情報は富士通の研究トピック、論文はarXivとACL Anthologyで読めます。

発表からACL 2026掲載までの経緯

PHOTONは2026年6月に突然出てきた技術ではなく、半年前から論文が公開されていました。

時期

出来事

2025年12月22日

arXivで論文v1を公開(600Mと1.2Bの2モデル)

2026年1月8日

論文v2を公開(900Mモデルを追加し、表を更新)

2026年6月24日

富士通が研究成果として発表(最大475倍、9クエリーの統合でTransformer並みの性能)

2026年7月

ACL 2026(米サンディエゴ)の本会議Long Paperとして論文集に掲載

2026年11月時点

製品化、Takane・Kozuchiへの組み込み、コード公開の続報は確認できず

一部の解説で「900Mモデルは論文に載っていない」とされていることがありますが、これはv1だけを見た場合です。現行のv2には900Mの結果も載っています。

生成AIの全体像から押さえたい方は、生成AIとは何かを解説した記事もあわせてご覧ください。

なぜ今PHOTONが注目されるのか|TransformerのGPUコスト課題

GPUサーバーが並ぶデータセンター。生成AIの推論でGPUメモリが不足しやすいことを表すイメージ

出典: NVIDIA 公式サイト

注目される理由は、今のLLMが抱える「GPUの計算能力より先にメモリが足りなくなる」という問題に、モデルの設計から手を入れた点にあります。

GPT、Claude、Geminiなど主要なLLMの多くは、2017年の論文「Attention is All You Need」に由来するTransformerをもとにしています。Transformerは文章をトークンに分け、トークン同士の関係(注意機構=Attention)を計算します。この方式には次の弱点があります。

  • KVキャッシュが文章の長さに比例して増える: 回答を1トークンずつ作るたびに、それまでの全トークンの中間データ(Key/Value)を「控えのメモ」としてGPUメモリに置いておく必要がある
  • メモリの読み書きが速度の上限を決める: 長い文章や大勢の同時利用ではメモリが先に埋まり、GPUの演算器が余っていても処理量を増やせない
  • 「長く考えさせる」ほど重くなる: 推論時に多くのトークンを使って考えさせると性能が上がる傾向があり、その分メモリの負担も増える

ITmedia AI+やビジネス+ITも、この「メモリアクセスがボトルネックになる」点を発表の背景として紹介しています。PHOTONは、このKVキャッシュをできるだけ持たない設計にすることで、同じGPUメモリからより多くの出力を取り出すことを狙っています。

PHOTONの仕組み|トークンの「水平処理」から意味の「階層処理」へ

ACL 2026に掲載されたPHOTONの論文の1ページ目。富士通・理化学研究所などの共同研究であることが記されている

出典: ACL Anthology「PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation」

PHOTONの中心にあるのは、文章を小さなまとまりに束ねて段階的に要約し、生成時はその要約から細部を局所的に復元するという考え方です。

たとえると、Transformerは「本の全ページを机に広げ、1文字書くたびに全ページを見返す」やり方です。PHOTONは「章の要約メモだけを手元に置き、いま書いている段落の周辺だけを詳しく見る」やり方に近いと言えます。

1. 階層的な圧縮と再構成(Hierarchical Autoregressive Modeling)

PHOTONは大きく「エンコーダ」と「デコーダ」に分かれます。

  • 階層エンコーダ(ボトムアップ): トークン列を一定の長さのチャンクに区切り、段階的に圧縮して上位の要約状態にまとめます。論文の主実験は2階層で、各階層4トークン(または4チャンク)ずつ束ねる設定です。
  • 階層デコーダ(トップダウン): 粗い上位状態から細かいトークン表現を復元します。注意を向ける範囲はチャンクの周辺に限られ、文章全体の長さには左右されません。

全トークン同士の関係を総当たりで計算しないため、文章が長くなっても局所デコーダの負担は増えにくい構造です。

2. KVキャッシュ(メモリ)の大幅削減

コスト面で最も影響が大きいのがこの部分です。Transformerは全トークン分のKVキャッシュを持ち続けますが、PHOTONは最上位の要約状態のKVキャッシュだけを保持し、下位のデコーダは決まった大きさの窓だけを参照します。

さらにRecGen(再帰生成)という工夫で、新しく作ったトークンをもう一度ボトムアップで圧縮し直す処理を省き、デコーダ側の復元結果から上位の状態を直接更新します。論文の600Mモデルでは、RecGenを使うとデコード重視の設定でメモリ1GiB当たりの処理量が約3,062から約13,643(K tokens/s/GiB)へさらに伸びたと報告されています。既存の階層型手法であるBlock Transformerとの大きな違いがこのRecGenです。

3. マルチクエリー統合

KVキャッシュが小さいぶん、同じGPUメモリの範囲で複数の回答を並べて生成できます。富士通の発表によると、1つの問題を表現を少しずつ変えた複数の質問に分けて並列に解かせ、多数決(Majority Voting)や最良の候補を選ぶ方法(Best-of-N)でまとめます。

富士通は「9クエリーを統合するとTransformerと同水準の性能になる」と説明しています。単体の品質で劣る分を「数で補う」発想です。なお、この9クエリーの結果はarXiv版(v1・v2)には載っておらず、富士通の発表に基づく情報です。複数の推論をまとめる考え方は、マルチエージェントAIや、複数のLLMを組み合わせるSakana Fuguとも共通しています。

4. 学習方法

学習では通常の次トークン予測に加え、各階層で「デコーダが復元した状態」と「エンコーダが圧縮した状態」をそろえる補助的な目的関数を使えるようにしています。式は L = L_token + α·L_rec で、ずれはコサイン距離で測ります。

ただし論文の主な結果はα=0(補助目的なし)で学習したものです。αを変えた追加実験では、ゼロショット精度の平均はα=0.3付近が最もよく、0.4まで上げるとPPL(予測の当たりにくさ)が悪化したと報告されています。「α=0.3が標準設定」と読むのは正確ではありません。

「最大475倍」の正確な意味|条件を外すと誤解する数値

「475倍」は、1.2Bモデルのデコード重視の条件で、GPUメモリ1GiB当たりのスループット(TPM)をTransformerと比べた値です。 応答が475倍速くなる、GPUの台数や利用料金が475分の1になる、という意味ではありません。

475倍の内訳は「処理量約44倍×メモリ約11分の1」

論文の表から、1.2Bモデル・デコード重視(入力128トークン/出力2,048トークン)の数値を取り出すと次のとおりです。

指標

Transformer

PHOTON

比率

TPM(K tokens/s/GiB)

2.56

1216.67

約475倍

スループット(K tokens/s)

1.00

43.80

約43.8倍

1サンプル当たりGPUメモリ

0.390 GiB

0.036 GiB

約10.8分の1

出典: arXiv:2512.20687 v2 Table 1(比率は表の数値からの計算)

475倍は「スループット約43.8倍」と「メモリ約10.8分の1」を掛け合わせた効率の指標です。処理量そのものは約44倍、メモリ使用量は約11分の1と言うほうが実態に近い表現です。

3モデル×2条件で見ると「約286〜475倍」

475倍は最も大きく出た条件の数字です。モデルの大きさと入出力の比率を変えると、倍率は次のようになります。

モデル

入力重視(PF: 入力2,048/出力128)

出力重視(DE: 入力128/出力2,048)

600M

約390倍

約417倍

900M

約286倍

約423倍

1.2B

約449倍

約475倍

出典: arXiv:2512.20687 v2 Table 1のTPMから計算

どの条件でも数百倍の差が出ていますが、条件によって1.7倍ほどの開きがあります。なお論文の要旨には「最大10³倍(約1,000倍)」という表現がありますが、表で確認できる最大値は475倍で、富士通の発表もこの値を使っています。

Block Transformerと比べると上積みは約2.25倍

見落とされやすいのが、比較対象の「Transformer」がもっとも基本的な形(LLaMA型)である点です。論文には、すでにある階層型の手法Block Transformer(2024年発表)との比較も載っています。

1.2B・出力重視

Transformer

Block Transformer

PHOTON

TPM(K tokens/s/GiB)

2.56

540.20

1216.67

スループット(K tokens/s)

1.00

27.55

43.80

GPUメモリ(GiB)

0.390

0.051

0.036

WikiText PPL(低いほど良い)

19.68

22.84

23.79

出典: arXiv:2512.20687 v2 Table 1ほか

Block TransformerもTransformerの約211倍のTPMを出しており、475倍の大部分は「階層化」という方式そのものの効果と読めます。PHOTON独自の上積みはBlock Transformer比で約2.25倍(スループット約1.6倍、メモリ約0.7倍)です。それでも同じ規模で効率を2倍以上にした点は大きな成果で、論文は効率と品質のバランスでBlock Transformerを上回ると主張しています。

品質はどれだけ下がるのか|論文の数値で確認

PHOTON単体の品質はTransformerより下がります。 富士通の発表は「わずかな性能劣化と引き換えに」と表現していますが、論文の数値では次の程度の差があります。

モデル

WikiText PPL(Transformer → PHOTON)

PPLの悪化

ゼロショット平均精度の差

600M

22.38 → 29.91

約+34%

約−3.8ポイント

900M

20.41 → 26.23

約+29%

約−5.7ポイント

1.2B

19.68 → 23.79

約+21%

約−6.8ポイント

出典: arXiv:2512.20687 v2(差は表の数値からの計算。ゼロショットはHellaSwag・SciQ・ARC-Easyの平均)

読み取れることは2つあります。

  • PPLの差はモデルが大きいほど縮んでいる(+34%→+21%)
  • 一方でゼロショット精度の差はモデルが大きいほど広がっている(−3.8→−6.8ポイント)

このため「規模を大きくすれば品質差は消える」とは、現時点のデータからは言えません。また、これらの品質評価はRecGenではない生成方式で計算したもので、RecGenでの評価は今後の課題と論文に書かれています。マルチクエリー統合でTransformer並みになるという結果は、この単体の差を複数回の推論で埋める設計を前提にしています。

TransformerとPHOTONの違い|比較ポイント整理

主な違いは次の表のとおりです。

比較項目

Transformer(従来主流)

PHOTON(富士通の新方式)

処理の考え方

トークンを横に並べて関係を計算

意味のまとまりを階層的に圧縮・復元

KVキャッシュ

全トークン分を保持し、長さに比例して増える

最上位の要約状態+局所の窓だけ

GPUメモリ(1.2B・出力重視)

0.390 GiB

0.036 GiB(約10.8分の1)

スループット(同条件)

1.00 K tokens/s

43.80 K tokens/s(約43.8倍)

単体の品質

高い

PPLで約21〜34%悪化

品質の補い方

不要

複数の回答を並列生成して統合(9クエリーで同水準と発表)

検証済みの規模

数千億パラメータ級まで実用化

最大1.2B

成熟度

商用で広く利用

研究段階(製品・API・コード公開なし)

TransformerをやめてGPUメモリを減らす試みは他にもあります。拡散モデルで文章を一気に生成するMercury 2やDiffusionGemma、注意機構の計算を見直すSubQ LLMなどです。測っている条件がそれぞれ違うため、倍率を横に並べて比べることはできません。

依頼範囲と費用の目安を30分で整理します

初回相談は無料・30分(オンライン)。要件が決まっていなくても大丈夫です。改修100万円〜・PoC300万円〜(税別)

PHOTONで期待される活用展望|省GPU時代のAI基盤

国産LLMを開発するPreferred Networksのロゴ。国産AI基盤の動向を表すイメージ

出典: Preferred Networks 公式サイト

研究段階のため確定した用途はありませんが、技術の性質から次のような方向が考えられます。いずれも富士通が製品化を発表したものではなく、可能性の整理です。

  • 推論コストの削減: 同じGPUでより多くの利用者・トークンをさばければ、クラウドAIの運用費や電力の負担を減らせる可能性があります
  • GPUが少ない環境での運用: オンプレミスや国内データセンターなど、GPUを潤沢に確保しにくい環境でLLMを動かす選択肢になりえます
  • 長文・多人数の同時利用: KVキャッシュの増加が抑えられれば、長い資料の処理や大量の同時アクセスで効果が出やすくなります(ただし論文の実験は2,048トークンまで)
  • 「数で補う」推論との相性: 1回の推論が軽いぶん、複数の回答を作って選ぶ使い方と組み合わせやすい設計です

富士通の国産AI基盤との関係

富士通はCohereと共同開発した企業向けLLM「Takane」、専有環境で生成AIを運用する「Fujitsu Kozuchi Enterprise AI Factory」(2026年1月提供開始)、省電力プロセッサ「FUJITSU-MONAKA」などを並行して進めています。2026年5月にはAnthropicとの戦略提携も発表しました(詳しくは富士通×Anthropicの戦略的提携の解説)。

ただし、PHOTONをTakaneやKozuchiに組み込むという発表は、2026年11月時点ではありません。一部の解説に見られる「Takaneへの統合が決まっている」といった記述は、公式には確認できない推測です。国産LLM全体の比較は国産LLM 7選の比較記事、PFNのフルスクラッチモデルはPLaMo 3.0 Primeの解説がまとまっています。

PHOTONの限界・未確認点|過度な期待は禁物

PHOTONは「小規模な実験で有望な結果が出た研究」であり、実用LLMの規模で通用するかはまだ分かっていません。

論文に書かれている主な限界は次のとおりです。

  • 検証は最大1.2Bパラメータまで。数十B〜数百B級(実用LLMの規模)での挙動は未検証
  • 学習データは1種類(The Pile)、評価ベンチマークも少数で、別のデータや課題への汎化は未確認
  • チャンクの長さなど設計の選び方による影響の分析が一部にとどまる
  • 実験の文脈長は2,048トークン。数万〜数十万トークンの超長文での実測はない
  • 品質評価はRecGen以外の生成方式で計算しており、RecGenでの評価は今後の課題

2026年11月時点で公式に確認できない点は次のとおりです。

  • 製品化の時期・料金・提供形態(API/OSS/SDKなど)
  • コードやモデル重みの公開
  • TakaneやKozuchiへの組み込み
  • 日本語での性能
  • 第三者による再現実験や独立した評価

数値はすべて富士通らの自社実験によるものです。研究アーキテクチャのため、セキュリティやデータの扱いに関する公式の記述もありません。製品になった場合、学習データや入力データの扱いは提供形態次第です。現行の生成AIを業務で使うときの注意点は生成AIのセキュリティ解説を参考にしてください。

よくある誤解の整理

よく見る表現

実際のところ

「Transformerより475倍速い」

速度(スループット)は約43.8倍。475倍はメモリ1GiB当たりの効率

「GPUが475分の1で済む」「料金が475分の1」

根拠なし。台数や料金の比較はされていない

「性能はそのまま」

単体ではPPLが約21〜34%悪化。9クエリー統合で同水準というのは富士通の発表

「Transformerは終わり」

検証は1.2Bまで。商用LLMの規模での実績はない

「光(フォトン)を使ったAI」

頭字語であり、光技術とは無関係

他の効率化アーキテクチャ・国産AIの中での位置づけ

日本発のAI企業Sakana AIのロゴ。国内でLLMの効率化に取り組む動きを表すイメージ

出典: Sakana AI 公式サイト

PHOTONは「推論時のメモリと計算をどう減らすか」という大きな流れの1つです。方式ごとに整理すると、PHOTONはモデルの構造そのものを変えるグループに入ります。

技術・動向

取り組み方

今すぐ使えるか

PHOTONとの関係

Block Transformer

ブロック単位で階層的に処理

研究段階

論文の直接の比較対象。PHOTONはRecGenと多層の状態で上積み

Mamba・状態空間モデル

注意機構を使わず、状態を順に更新

一部モデルで利用可

同じく構造から変える非Transformer系

拡散LLM(Mercury 2、DiffusionGemmaなど)

生成のやり方自体を変える

一部で利用可

速度を狙う別ルート

KVキャッシュの量子化(TurboQuantなど)

既存モデルのKVキャッシュを圧縮

推論エンジンで対応が進む

既存モデルにそのまま使える点が違う

量子化・蒸留・小型モデル

モデルを小さく・軽くする

利用可

構造は変えずに軽くする

既存モデルのままKVキャッシュを減らす方法としては、GoogleのTurboQuantが分かりやすい例です。国内では、Sakana AIのMarlinや、コスト効率を打ち出すDeepSeek V4なども効率化の流れにあります。その中でPHOTONは、日本企業がモデルの基本設計から効率化に取り組み、ACL本会議に採択された点に意味があります。

企業のAI担当者が今できること

PHOTONは2026年11月時点では「使う」ものではなく「動向を追う」ものです。 GPUコストや推論の遅さに困っている場合は、今ある方法から検討するのが現実的です。

困りごと

今すぐ取れる方法

PHOTONの位置づけ

GPUメモリが足りない

KVキャッシュの量子化、モデルの量子化、小型モデルへの切り替え

将来の選択肢として注目

応答が遅い・同時利用で詰まる

推論エンジンの最適化(バッチ処理など)、Speculative Decoding

製品化されれば候補

社外にデータを出したくない

国産LLMやローカルLLM(Ollamaなど)を自社環境で動かす

組み込み先が決まれば候補

推論コストを下げたい

用途に合わせたモデルの使い分け、API料金の比較

研究の続報を見て判断

社内業務や既存システムにAIを組み込む場合は、モデルの方式よりも「どの業務で何を減らしたいか」と、PoCから本開発までの費用感を先に固めるほうが判断を誤りにくくなります。費用の内訳を事前に知りたい方はAI開発の費用相場(AI受託開発の改修・PoC・本開発の価格と見積の内訳)を参考にしてください。

PHOTONの今後を追うときは、次の3つが判断材料になります。

  1. 数十B以上の規模で同じ効率が出るか(論文の続報や追加実験)
  2. コードやモデル重みが公開されるか(第三者が再現できるようになるか)
  3. 富士通の製品(Takane・Kozuchiなど)に組み込まれるか

PHOTONに注目すべき人・まだ気にしなくていい人

注目しておきたい人

  • LLMの推論コスト、GPUの調達、電力を経営課題として抱えている事業企画・インフラ担当
  • 非Transformer系のアーキテクチャや推論の効率化を研究・開発しているエンジニア
  • 国産AI基盤や富士通のAI戦略の行方を追っているビジネス層
  • 長文処理や大量の同時アクセスでメモリ不足に悩んでいるAIプロダクト開発者

まだ急いで気にしなくてよい人

  • 今すぐ業務で使えるAIツールを探している人(PHOTONは製品として提供されていない)
  • 料金や導入条件で比較・選定したい担当者(公式のロードマップが出ていない)
  • 数十B以上のモデルでの実績を前提に技術選定したい人(検証は1.2Bまで)

すぐに業務で動かせるAIを探している場合は、AIエージェントとは何かの解説から現行のツールを把握するのが近道です。

よくある質問(FAQ)

Q. PHOTONはもう使えますか?

A. 2026年11月時点では使えません。論文と研究成果が公開されている段階で、製品・API・コードやモデル重みの公開はいずれも発表されていません。

Q. 本当にTransformerより475倍速いのですか?

A. いいえ。475倍は「GPUメモリ1GiB当たりのスループット」で比べた値で、条件は1.2Bモデル・出力重視の設定です。同じ条件での速度(スループット)の差は約43.8倍、メモリ使用量は約10.8分の1です。

Q. ChatGPTやClaudeより性能が高いのですか?

A. 比べられる段階ではありません。PHOTONの実験は最大1.2Bパラメータの小さなモデルで、同じ規模のTransformerと比べても単体の品質は下がります。ChatGPTやClaudeのような製品と比べた評価はありません。

Q. PHOTONを使えば料金やGPUの台数が475分の1になりますか?

A. そうした比較は論文にも発表にもありません。料金は製品化されていないため存在せず、GPU台数の削減効果も示されていません。

Q. ACL 2026での発表はどうなりましたか?

A. 論文はACL 2026の本会議Long Paperとして、2026年7月の論文集に掲載されています(DOI: 10.18653/v1/2026.acl-long.1778)。掲載後も、製品化の時期については公表されていません。

Q. 富士通のTakaneに組み込まれるのですか?

A. 2026年11月時点では公式に発表されていません。Takaneの開発とPHOTONの研究は並行して進んでいますが、統合の計画は確認できません。

Q. PHOTONは光(フォトニクス)を使った技術ですか?

A. いいえ。Parallel Hierarchical Operation for TOp-down Networksの頭字語で、光半導体や光コンピューティングとは関係ありません。

まとめ|「475倍」を正しく理解すれば、PHOTONの価値が見える

PHOTONは、富士通が理化学研究所などと共同で研究し2026年6月に発表したLLM向けの新アーキテクチャです。文章を階層的に要約してKVキャッシュを最上位だけに絞ることで、同じGPUメモリからより多くの出力を取り出すことを狙っています。「最大475倍」は1.2Bモデル・出力重視の条件で測ったメモリ当たりの効率で、中身はスループット約43.8倍・メモリ約10.8分の1です。既存の階層型手法Block Transformerと比べると、上積みは約2.25倍になります。

論文は2026年7月にACL 2026の本会議論文として掲載されましたが、検証は1.2Bまで、単体の品質はTransformerより下がり、2026年11月時点で製品化やコード公開の発表もありません。今は「有望だが研究段階」と見るのが妥当です。それでも、GPUメモリ不足という生成AIの根本課題に、日本企業がモデルの基本設計から取り組み、国際学会で評価された意味は小さくありません。今後は大規模モデルでの検証、コード公開、富士通製品への組み込みの3点に注目しましょう。

国産AIの全体像は国産LLMの比較、生成AIの基礎は生成AIとはの記事で確認できます。

依頼範囲と費用の目安を30分で整理します

この記事の著者

AI革命

AI革命

編集部

AI革命株式会社の編集部です。最新のAI技術動向から実践的な導入事例まで、企業のデジタル変革に役立つ情報をお届けしています。豊富な経験と専門知識を活かし、読者の皆様にとって価値のあるコンテンツを制作しています。

AI・システム開発は、開始価格を公開しています

既存システムの改修 100万円〜・PoC 300万円〜(税別)。相談内容を送っていただくと、2営業日以内に担当者からご返信します