Physical AIはスケールアップだけでなく、スケールアウトする

RAIDEN™を生み出した理由、その過程で得た知見、そしてチップレットがPhysical AIコンピュートの将来の鍵となる理由

2019年にEdgeCortixを設立した当時、エッジAIの課題は、現在私たちが取り組んでいるものとは大きく異なっていました。当時の主な課題は、通常はデータセンタークラスのハードウェアに依存していたニューラルネットワーク推論を、データが生成される場所の近くで実行できるほど効率化することでした。それ自体が難しい課題であり、現在も重要です。ここ数年でモデルがマルチモーダル化、生成AI化し、推論・行動能力を高めるにつれて、主な課題は、現実世界で継続的に動作するPhysical AIシステムへと移行しています。

AIは、情報を理解し生成する段階を超え、現実世界と継続的に相互作用し始めています。ロボット、工場、通信ネットワーク、航空機、自律型プラットフォーム、重要インフラでは、周囲で起きていることを認識し、推論し、判断して行動する必要性が高まっています。業界では現在、これを広くPhysical AIと呼びます。呼び方はどうであれ、アーキテクチャ上の要点は明確になりつつあります。AIが現実世界に移ると、コンピューティングの課題は、単一の推論モデルを実行することよりも大きくなります。インテリジェンスは、物理環境の制約の中で、認識、思考、行動を継続的に行う完全なシステムの一部になる必要があります。

私たちにとって重要な気付きは、Physical AIは単なる別のAIモデルのワークロードではなく、システムワークロードであるということです。AIが現実世界で継続的に動作する機械の一部になると、最適化の対象が変わります。ピーク演算性能は引き続き重要ですが、応答時間、消費電力、データ移動、信頼性、ソフトウェアの継続性、AIと非AI処理を組み合わせて実行する能力も重要になります。モデルだけでなく、システムこそが主な課題となったからこそ、私たちは次世代のチップレットベースPhysical AIコンピュートプラットフォーム「RAIDEN」を開発したのです。

RAIDENファミリー、アーキテクチャ、仕様など、プラットフォームの詳細については、RAIDENの詳細をご覧ください。構成および提供時期のロードマップについては、RAIDENの公式発表でも説明しています。本稿では、なぜ私たちがRAIDENを開発したのか、その過程で何を学んだのか、そしてPhysical AIコンピュートが向かう方向について何を示していると考えるのかに焦点を当てます。

現実世界が時間軸を決める

の状況を認識しながら、センサーデータの処理、動作の計画、制御ループの実行、ほかのシステムとの通信、直前の動作が想定どおりだったかの確認も行います。これらのタスクは個別に行われるものではありません。価値は、一連のプロセスが全体として連携して機能することから生まれます。

この考え方は、ロボットだけに当てはまるものではありません。多数のセンサー入力を処理する航空機、その場で判断する通信拠点、多くの機械を管理する産業システムも、同じ課題に直面しています。現実世界は、モデルの処理が完了するまで待ってはくれません。システムは動作し続ける必要があります。つまり、現実世界が動作のペースを決めるのです。

だからこそ、私はPhysical AIとは単にクラウドをエッジに置き換えることだとは考えていません。学習、大局的な思考、シミュレーション、フリート学習、連携において、クラウドは引き続き重要です。変化しているのは、データが生成される場所や、判断を実際の行動に移す必要がある場所の近くで、より多くのコンピュートを行う必要が生じているという点です。つまり、真に問うべきは、単なる「クラウドか、エッジか」という二者択一ではなく、「何を、どこで処理すべきか」、そして「それらの階層をどのように連携させるべきか」ということです。

マシンとハイパースケールクラウドの間に欠けていた層

AIコンピュートは、しばしば2つの極端な形で捉えられます。一方には、マシン内部の組込みプロセッサがあります。これらはセンサーに近く、消費電力は小さいものの、複雑なタスクには対応できません。もう一方には、大量の演算能力、メモリ、ネットワーク、冷却設備を備え、大規模AIを可能にする大規模データセンターがあります。

Physical AIは、この2つの間に新たな需要を生み出しています。一部のシステムは、一般的な組込みデバイスよりもはるかに高い演算性能とメモリを必要としますが、同時に、高速なローカル応答と、大規模データセンターとは異なる電力・導入形態を必要とします。EdgeCortixでは、この領域をThick Edgeと呼んでおり、私たちの構想はこの領域で形になります。

図1：Physical AIによるコンピュート需要が、組込みシステムとハイパースケールインフラの間で拡大するにつれて、Thick Edgeも拡大している

今、私には、Thick Edgeは単なるチップや製品の一種ではないことが明確です。
Thick Edgeは、インフラストラクチャの1つの層になりつつあります。用途に応じて、機械内部のモジュール、生産ラインの近くに置くアクセラレータ、通信拠点の小型ラック、または対象システムの近くに配置するモジュール型AIデータセンターになる可能性があります。重要なのは、真のインテリジェンスが動作の一部となるには、現実世界に十分近い場所に存在する必要があるということです。

Physical AIは2方向にスケールする

AI業界は、スケールアップを非常に得意としてきました。デバイスに演算能力を追加し、システムにデバイスを追加し、ラックにシステムを追加し、データセンターにラックを追加します。より高速な接続とより大規模なクラスターによって、モデルができることは大きく進歩してきました。そして、この流れは今後も続きます。

Physical AIは、もう1つの課題をもたらします。今、インテリジェンスを工場、ネットワーク、自律システム、航空宇宙、インフラ、マシンへ分散させる必要があります。プロジェクトは1つのデバイス内のコンピュートから始まり、タスクが複雑になるにつれてローカルシステムへ成長し、最終的には実際に使用される場所の近くにラック規模またはモジュール型のインフラストラクチャを必要とする場合があります。私がPhysical AIはスケールアップするだけでなく、スケールアウトすると言うのは、こういう意味です。

この違いは重要です。ここでいう「スケールアウト」は、データセンターのようにクラスターへサーバーを追加することだけを意味しません。現実世界の異なる場所や運用環境へインテリジェンスを分散することを意味します。システム設計は、高速に応答できるほどローカルであり、多様な環境に対応できるほど柔軟で、モデルやシステムの進化に合わせて成長できる必要があります。この広いアプローチが必要だからこそ、私たちはRAIDENを単なる1つのアクセラレータではなく、プラットフォームとして開発しました。

図2：インテリジェントマシンとハイパースケールクラウドの間にある、新しいインフラストラクチャ層

SAKURAから得た知見と、RAIDENが異なる理由

RAIDENは、目を引く性能値から始まったのではありません。私たちのDynamic Neural Acceleratorアーキテクチャ、MERAソフトウェアスタック、SAKURAファミリーの開発、そして高度なAIを実環境のシステムに導入しようとするお客様との取り組みから得た知見に基づいています。

こうした実環境への導入から、私たちは貴重な多くのことを学んできました。SAKURA-IIは、放射線耐性に関するNASA支援の重イオン試験を受け、Defense Innovation Unitプログラムの下で、米国空軍による運用環境を想定した飛行実証に組み込まれました。また私たちは最近、次世代AI対応航空宇宙・防衛システムに関して、川崎重工業株式会社との複数年の協業を発表しました。これらは大きく異なる環境ですが、同じ教訓を裏付けています。AIが研究室を離れ、長期に使用される物理システムの一部になると、システムアーキテクチャはモデルと同じくらい重要になります。

私たちは、3つの主なニーズを繰り返し耳にしました。異なる消費電力とサイズの要件に応じてスケールできること。AIはハードウェアの設計サイクルよりもはるかに速く変化するため、プログラム可能であること。そして、データ移動を減らすことです。センサーデータ、モデルの状態、処理結果をメモリとプロセッサの間で移動すると、消費電力が増え、遅延が加わり、システムが複雑になるためです。

RAIDENは、これらのニーズに応えます。チップレット設計により、同じシステムの中で、コンピュート性能、メモリ、帯域幅を1ダイから複数ダイへスケールできます。プログラム可能なマトリクスエンジンとベクトルエンジン、RISC-V処理、異なるコンピュートリソースを備え、AIの進化に合わせて幅広いタスクを処理します。共有された高速オンチップメモリは、より多くのデータを必要な場所の近くに保持するためのものです。仕様は物語の一部にすぎません。真の物語は、1つのベンチマークではなく、システム全体を最適化することにあります。

図3：1ダイから4ダイまで、1つのアーキテクチャ。AIの進化に合わせてRAIDENも進化

Physical AIに必要なのは、AIアクセラレータだけでなくコンピューター

長い間、業界はAIプロセッサが実行できる演算量に注目してきました。しかし、モデルとシステムが大きくなるにつれて、データ移動は処理そのものと同じくらい重要になります。データがインターフェースを越えて移動したり、外部メモリへ移動したりするたびに、電力と時間を消費します。センサー処理、推論、思考、制御、アプリケーションロジックなど多くの処理が同時に動くPhysical AIシステムでは、これらのコストが積み重なります。

ここから、私たちのロードマップを次第に形づくってきた、さらに大きな結論に至ります。物理システムが行うことは、ニューラルネットワークの実行だけではありません。AI向けの行列演算、信号処理や高度な数学演算のためのベクトル演算、汎用アプリケーション処理、通信処理、制御、専用機能が必要になる場合があります。これらの機能をそれぞれ個別のデバイスとして実装し、そのたびに別のインターフェースを介する構成にすると、最終的には、データ移動、ソフトウェアの複雑性、遅延、消費電力という形で、その分断によるコストが生じます。

したがって、私たちが目指しているのは、一貫したコンピューティング・アーキテクチャの中で、Physical AIの処理を段階的に、より広い範囲まで担えるようにしていくことです。

RAIDENは、プログラム可能なAIコンピュート、ベクトル演算、RISC-Vアプリケーションコア、共有メモリ、専用機能を1つのヘテロジニアスプラットフォームに統合することで、すでにこの考え方を反映しています。すべてのワークロードを1種類のコアで実行することが目的ではありません。むしろ、その逆です。適切な種類のコンピュートを1つにまとめ、システム全体として動作できるようにすることが目的です。

また、これが、私たちにとってソフトウェアおよびコンパイラスタックであるMERAが重要であり続ける理由です。ハードウェアは一度認定されると数年間導入され続ける一方、実行する必要があるモデルは何度も変わる可能性があります。アプリケーションとモデルをシリコン世代間で引き継げるソフトウェアアーキテクチャは、これらの市場では単なる開発者の利便性だけではありません。システムのライフサイクル全体の経済性を構成する一部です。

チップレットはEdgeCortixの事業と技術の中核となる考え方

RAIDENは、EdgeCortixの将来に対する考え方の、より広い転換を示しています。チップレットは、もはや単に、より大きなAIプロセッサを構築するための手法ではありません。チップレットは、私たちの技術と事業の考え方の中核になりつつあります。なぜなら、スケール以上に価値のあるものをもたらすからです。それが「構成」です。真の機会は、チップレット自体だけでなく、チップレット間の接続と、異なる機能を一貫した1つのシステムに結び付ける能力から生まれます。

スケーラブルなチップレットアーキテクチャ、高帯域のダイ間接続、共通のソフトウェア環境により、アプリケーションがより大きな処理能力を必要とする場合は、同じ種類のコンピュートを追加してホモジニアスシステムを構築できます。同じ基盤は、異なるチップレットが共通のPhysical AIシステムに異なる機能を提供するヘテロジニアスシステムへの道も開きます。コンピュート、メモリ、接続、信号処理、その他の専用機能を、1つの一貫したプラットフォームとして動作させるために、すべてを同じシリコンダイへ無理に組み込む必要はありません。

これにより、将来の製品に対する考え方が変わります。「このアクセラレータでAIモデルのどの程度を実行できるか」だけでなく、今では「システムはPhysical AIプロセス全体のどの程度を処理できるか」を問うようになりました。これはより大きな目標です。そして、お客様が本当に求めているのは、感知、処理、理解、思考、計画、通信、実行、結果の確認までを、すべて実際のシステムの制約内で実現することです。

RAIDENは、この方向へ踏み出す大きな一歩です。しかし私たちの旅の終わりではありません。近いうちに続報をお届けする予定ですが、私たちは現在、単一タイプ（ホモジニアス）と混合チップレット（ヘテロジニアス）の両方のシステム開発に取り組んでいます。これらは、1つのアーキテクチャでPhysical AIワークロードのより多くの部分を処理できるシステムです。AIモデルの処理は依然として重要ですが、私たちの目標は、プロセスの一部を高速化するだけにとどまらず、その先を目指すことです。

図4：アクセラレータの集合体ではなく、プログラム可能で、スケーラブルな1つのヘテロジニアスシステム

製品ロードマップからインフラストラクチャアーキテクチャへ

ここで、チップレットの概念と分散型フィジカルAIの概念が結び付き始めます。同じ考え方は、複数のダイを組み合わせてより高機能なシステムを構築する内向きのスケールと、それらのシステムを、現実世界が動いている場所により近いサーバー、ラック、モジュール型インフラストラクチャへ展開する外向きのスケールの、両方向に適用できます。

将来、AIアーキテクチャは、クラウドかエッジかという選択よりも、1つの連続的な構造になると私は考えています。大規模な集中型インフラストラクチャは、学習や、集中することで効果を得られるワークロードを支えます。さらにインテリジェントになったマシンは、最先端のエッジで動作します。その間には、工場、通信ネットワーク、航空宇宙・自律システム、都市、その他の運用環境にわたる、分散型Physical AIインフラストラクチャという大きな層が生まれると考えています。

業界はすでに、Physical AIに対してより階層化されたアプローチへ移行しています。ロボティクスでは、学習、シミュレーション、実環境での動作を分けることが一般的になっています。次の大きな問いは、どの程度のインテリジェンスを、費用対効果と信頼性を保ちながら実環境へ移せるかです。私たちは、インテリジェントマシンと大規模クラウドの間にある中間層、つまりThick Edgeが非常に重要になると考えています。

EdgeCortixは、すべてのワークロードをエッジで実行すべきだとは考えていません。それが私たちの主張ではありません。私たちの役割は、モデルが変化しても、適用範囲の狭いアクセラレータや変化に対応できなくなったソフトウェアに制約されることなく、お客様が本当に必要とする場所にインテリジェンスを配置できる、十分に柔軟なアーキテクチャを生み出すことです。

図5：Physical AIはスケールイン、スケールアウトします。チップレット構成によりシステムの機能を高め、共通のアーキテクチャとソフトウェア層により、個々の機械から分散型エッジインフラストラクチャまでインテリジェンスを拡張される

なぜ今、この瞬間が私にとって重要なのか

創業者として、ディープテック企業を築く中で最も価値を感じることの1つは、強い信念から始まったアイデアが、お客様がその上に構築したいと考える選択肢へ変わっていくのを目の当たりにすることです。RAIDENは、シリコンの出荷開始前からすでにデザイン・ウィンを獲得しており、川崎重工業株式会社との新たな複数年の協業は、その重要な例です。これは私にとって重要です。長期にわたって使用されるシステムを開発するお客様は、このような判断を軽々しく下すことはないからです。

同時に、RAIDENはEdgeCortixにとってこの新しい段階の始まりにすぎないと認識しています。まだやるべきことは多くあります。新しいチップを製品化し、ソフトウェアを拡張し、お客様の設計を実運用へ移行します。しかし方向性は明確です。Physical AIでは、アクセラレータだけでなく、コンピュートシステム全体と、それを支えるインフラストラクチャを考える必要があります。

現代のAIインフラストラクチャの最初の時代は、膨大なインテリジェンスを集中させる方法を私たちに示しました。次の時代は、そのインテリジェンスを現実世界全体へ効率的に分散する方法を示すと、私は考えています。私たちの考えが正しければ、成功は、1つのTOPSまたはTFLOPSの数値だけで決まるものではありません。モデルの変化に適応し、異なる環境へスケールし、不要なデータ移動を減らし、感知から行動までのプロセスのより多くを1つのシステムに統合できるアーキテクチャです。

だからこそ、私たちはRAIDENを開発しました。そして、チップレットが今、EdgeCortixの未来にとってこれほど重要なのです。私たちは、Physical AIがあらゆる方向へ成長し、コンピュートプラットフォームが単一のモデルを実行する以上の役割を担う世界を目指しています。まだ多くの作業が残っています。しかし、これが私たちの信じる道であり、RAIDENはその道を進む大きな一歩です。

RAIDENの詳細
RAIDENプラットフォーム、アーキテクチャ、製品ファミリーの詳細をご覧ください
RAIDENの詳細：https://www.edgecortix.com/ja/products/raiden

発表資料
EdgeCortixによるRAIDENの公式発表をご覧ください。
RAIDENプレスリリース：https://www.edgecortix.com/ja/press-releases/edgecortix-unveils-raiden-a-scalable-energy-efficient-ai-chiplet-platform-purpose-built-for-physical-ai