dna-white-blue-logo-v3

Dynamic Neural Accelerator™

ランタイムで再構成可能なエッジAIのためのアーキテクチャ

Supported 
Frameworks & 
Applications

Dynamic Neural Accelerator アーキテクチャ

Dynamic Neural Accelerator (DNA)は、コンピュート・エンジン間の接続をランタイムで再構成できる柔軟なモジュール型のニューラル・アクセラレータ・アーキテクチャであり、動的なグループ化により優れた並列性と効率性を実現します。EdgeCortixは、特許取得済みのアプローチを用いて、DNAエンジン間のデータパスをリアルタイムで再構成し、卓越した並列性とオンチップ・メモリ帯域幅の削減を実現することで、より高速で効率的なハードウェアの実行を可能にします。

MERAソフトウェアスタックはDNAと連動して、ニューラルネットワークのタスクスケジューリングにおいて、計算順序とリソース割り当てを最適化できます。

DNAはSAKURA-II AIアクセラレータの原動力であり、小型パッケージで業界最高の処理をエッジで提供し、生成系AIアプリケーションの最新モデルをサポートします。

Dynamic Neural Accelerator IP: Efficient, modular, scalable, and fully configurable hardware IP for FPGAs or SoCs.
Dynamic-Neural-Accelerator-IP-Diagram-2023

DNA IPは、ハードウェアに最適化されたソリューションにおいて、より高い柔軟性を実現します

シングルモデルのベンチマークは、比較が容易です。しかし、実世界ではパイプライン処理において、異なるモデルが異なるタスクを同時に処理するマルチセンサーアプリケーションのような、より複雑なマルチモデルシナリオが出現しています。

DNA IPとMERAソフトウェアの組み合わせは、ハードウェアが一部の一般的なニューラルネットワークモデルにのみ最適化されているわけではないため、幅広いモデルをより効率的に動作させることができます。DNA IPの内部には3種類の異なる実行ユニットがあり、それぞれがアキュムレータによる8乗算演算をサポートしています。

DNA アーキテクチャ

標準計算エンジン
3x3から64x64までの拡張可能なシストリックアレイを使用し、データパス機能を最適化
Depth-Wise計算エンジン
3Dカーネルを2Dスライスに分解し、最適化されたインターコネクトが使用可能
ベクトルユニット
高速で効果的な学習のためのニューラルネットワークの活性化とスケーリングを強化

DNA IPはストリーミングデータ(Batch=1)と高解像度データのいずれにも対応できるようになります。また、スケールアップやスケールダウンが可能であり、性能、消費電力、サイズ、柔軟性が重視されるエッジデバイスに効率的なAI推論IPソリューションを提供します。

DNA IPは、どのように様々な次元でパフォーマンスを発揮するのか

多くのAI推論アクセラレータは、コンピュータユニットが完全に並列化された状態で、高いTOPSを実現します。しかし、実世界のAIモデルをハードウェアにマッピングすると、ニューラルネットワーク層間の並列度が下がり、稼働率が40%以下にまで低下します。この非効率性が原因で、設計者は柔軟性、サイズ、消費電力においてコスト負担を強いられてきました。

しかし、EdgeCortixでは、特許取得済みの技術を用い、DNA IP実行ユニット間のデータパスを再構成することで、より優れた並列性を実現し、オンチップメモリの帯域幅を削減することに成功しました。そして、MERAソフトウェアは、同じDNA IPコアで複数のモデルが動作している場合でも、ニューラルネットワークのタスクのスケジューリングにおいて、計算順序とリソース割り当てを最適化できます。その結果、タスクとモデルの並列性により処理時間が大幅に短縮され、性能と効率が向上します。

DNA IPは、負担がかかっても90%以上の効率性を維持します。これは、従来のGPUベースのハードウェアよりはるかに高い、推論/秒/Wを実現します。リアルタイムアプリケーションにおいて、決断を下すのに不可欠なレイテンシに関しては、再構成されたデータパスと最適化されたスケジューリングにより、低いままに抑えることができます。そして、DNAアーキテクチャの効率は、エッジで重要とされている非常に低い消費電力を実現できます。

産業用IPコアにおける典型的なAI推論フロー

timeline1
timeline2
timeline3

IPコアの非効率性

  • バッチ処理による処理速度の低下
  • リソースの再利用が多いため消費電力が高い
  • コンピュート利用率の低下による効率の低下

DNAデータパスの利点

  • 利用率と効率が大幅に向上
  • タスクとモデルの並列処理により大幅に高速化
  • エッジAIユースケースに適した超低消費電力

EdgeCortixは、特許取得済みのランタイムで再構成可能なデータパス・アーキテクチャを使用して、DNAエンジン間のデータパスを再構成し、より優れた並列性とオンチップ・メモリ帯域幅の削減を実現

SAKURA-II M.2モジュール&PCIeカード

EdgeCortix SAKURA-IIは、ソフトウェア開発やAIモデル推論タスクのホストシステムに容易に統合できます。

M.2モジュールまたはPCIeカードを予約注文して、ぜひ試してみてください!

EdgeCortix エッジAIプラットフォーム

フルスタックソリューション: エコシステムの価値を長期的に高める統合プラットフォーム

mera-blue-white-logo
MERAコンパイラ&フレームワーク
異種システム間のAI推論を可能にする業界初のソフトウェア・プラットフォーム

独自のソフトウェア
さらに詳しくは
edgecortix-sakura-icon
SAKURA®-II AIアクセラレータ
高性能、省電力、生成系AIに対応、数十億のパラメータモデルを効果的に処理

効率的なハードウェア
さらに詳しくは
SAKURA-II-M.2-Straight
AIアクセラレータモジュールとカード
最大240TOPSのシステム最新のSAKURA-IIを搭載したAIアクセラレータ

展開可能なシステム
さらに詳しくは
megachips-logo

「エッジでの情報処理における大きな変化を考慮すると、企業は今、データキュレーションとAIによる意思決定が一緒に行えるクラウドレベルに近いパフォーマンスを求めています。このような背景から、省電力でコストパフォーマンスの高いインテリジェントなソリューションを必要とするさまざまな分野の実用的なビジネスニーズが高まり、EdgeCortixのソリューションセットの市場機会はますます広がっています。データとデバイスの両方が世界的に急激に増加していることを考えると、既存のソリューションよりも桁外れに優れたエネルギー効率と低い総所有コストでパフォーマンスを実現できる業界をリードするIPポートフォリオを持ち、エッジAI市場に革新を起こしているEdgeCortixを今後サポートしていきたいと思います。」

高田明氏
株式会社メガチップス 元CEO
softbank-quote-logo

ソフトバンクの先端技術研究所 所長である湧川隆次氏は、次のように述べています。「ネットワークインフラの性能向上と省電力化は、将来にかけて大きな課題です。EdgeCortixは、これらの課題を同時に解決するために必要なIPと技術に関する専門知識の両方を提供するパートナーとして期待しています。私たちは、今後も質が高いネットワークを提供するため、EdgeCortixと協力して、さらなる性能向上と省電力を実現する最適なアクセラレーターの研究を進めていきます」

trust-capitol-co-ltd-logo

「EdgeCortixは、市場において実にユニークなポジションにあります。主要な産業分野でAIアクセラレーションを活用した大規模なビジネスニーズに対応していることに加え、市場参入のためのソリューションをどのように開発するかというそのビジネス戦略が、大きな差別化要因となっています。半導体企業は少し近視眼的傾向があり、ほとんどの企業は、いかに素晴らしいソフトウエアのコードを提供するか、または、半導体のハード設計に注力しているかのどちらかです。しかし、EdgeCortixの特徴は、ソフトウェアとハードウェアIPの協調設計を行い、顧客のニーズに応じたソリューションを提供するというアプローチにあります。ソフトウェア中心のハードウェア・エコシステムで提供するこのアプローチこそが、同社の成長のキーであり、AIアクセラレーションの分野では他に類を見ない企業です。」

藤井ダニエル
トラスト・キャピタル株式会社CEO 兼 代表取締役、
シリコンバレー・ジャパン・プラットフォーム エグゼクティブ・コミッティ・メンバー
bittware-logo-v2

「業界全体において、AI/機械学習のワークロードがかつてないほど増加する中、業界を牽引するIPプロバイダであるEdgeCortixと共に提供するソリューションは、当社のIntel Agilex FPGAベースの製品ポートフォリオを完全なものにします。当社の顧客は、現在だけでなく、将来の様々なビジネスニーズにおいて、リスクやコストを下げながら、パフォーマンスを向上させることができるという高い水準のAI推論ソリューションを求めていました。」

Craig Petrie
BittWare セールス&マーケティング副社長
renesas-quote-logo

「多くのお客様がAI技術を含むアプリケーションソフトウェアを実装することが予想される ため、RZ/V MPUシリーズにMERAコンパイラと関連ツールセットを追加することに価値が あることをすぐに認識しました。お客様のニーズを満たすためにイノベーションを推進する 当社では、EdgeCortixと協力し、堅牢で高性能かつ柔軟なAI推論ソリューションを迅速にお 客様に提供します。EdgeCortixは素晴らしいパートナーであり、継続的な関係を築くこと で、我々とエンドユーザーに大きな価値をもたらすであろう今後の機会と可能性に期待して います。」

加藤茂樹 事業部長
ルネサスエレクトロニクス エンタープライズ・インフラ・ソリューション事業部

EdgeCortix 事業概要

エネルギー効率の高いエッジベースの人工知能アクセラレーションを実現