富士通、大規模言語モデルの大幅なコスト削減を実現するアーキテクチャ「PHOTON」開発。Transformerの最大475倍の出力トークン数を持つ

最終更新日:2026/07/22

富士通 PHOTON 開発

富士通は、大規模言語モデルの大幅なコスト削減を実現するアーキテクチャであるPHOTONを開発しました。主流基盤であるTransformerの最大475倍のマルチクエリー性能を発揮します。

富士通株式会社は、大規模言語モデルの大幅なコスト削減を実現するアーキテクチャである「PHOTON（Parallel Hierarchical Operation for TOp-down Networks）」を開発しました。

本モデルは現在、大規模言語モデルの主流基盤であるTransformerの最大475倍のマルチクエリー性能を発揮します。

この圧倒的なマルチクエリー性能とマルチクエリー統合技術を組み合わせることで、従来のTransformerより少ないGPUリソースで実現できます。

近年、生成AIの推論時により長く・多く思考させることで、性能を向上できることが示され、実用化が急速に進んでいます。一方で、Transformerでは長文入力や同時利用の処理などによって、メモリアクセスが増えて処理速度が落ちやすいという課題がありました。

今回開発された「PHOTON」は、マルチエージェントのような複数の入出力を必要とする処理を低コストで効率的に処理できるようになり、GPUコストの削減に貢献します。

従来のTransformerがトークン単位ですべての関係を計算するのに対し、本モデルは文章を意味のまとまりとして階層的に処理し、計算量を削減します。さらに、複数文章を同時処理することで、GPUあたり最大475倍の計算効率を実現しています。

マルチクエリー統合技術は、同じ問題に対し少しずつ異なる複数の質問や候補を作り、結果をまとめて最終的な答えを決める技術です。本モデルでは、結果を統合することで1回の推論だけで、より安定した高い性能を実現します。

数値実験の結果、各モデルサイズにおいて、従来のTransformerと比較して、メモリ使用量を抑えながら高い生成スループットが確認されています。

特に、1.2Bパラメータのモデルにおいて、従来のTransformerと比べ約475倍のマルチクエリー計算能力を実現しました。本モデルはKVキャッシュの使用量が小さいため、同じGPUメモリ内で複数の生成結果を並列処理でき、検証では、わずか9クエリーの統合で従来と同水準の性能を達成しています。

富士通は今後、大量のGPUリソースを必要とする生成AI技術の効率を飛躍的に高め、コストを大幅に削減することで膨大なAIに対する需要に対する環境的・ビジネス的な持続可能性を実現します。

出典：富士通株式会社

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています @AIsmiley.inc
・Xもフォローください @AIsmiley_inc
・Youtubeのチャンネル登録もお願いいたします@aismiley
メルマガに登録する