dna-white-blue-logo-v3

Dynamic Neural Accelerator IP

ランライムで再構成可能なAI用のニューラルネット ワークIPコア

Supported 
Frameworks & 
Applications

モジュール化されたスケーラブルで再構成可能なニューラルネットワーク・エッジAI推論IP

EdgeCortix Dynamic Neural Accelerator (DNA)は、コンピュータユニット間の接続をランタイムで再構成できる柔軟なニューラルアクセラレータIPコアで、動的なグループ化により優れた並列性と効率性を実現します。1つのコアは1024MACから32768MACまで拡張でき、最大1GHzのクロックで動作します。コンフィギュレーションはEdgeCortix MERAコンパイラ&ソフトウェアフレームワークで行います。

edgecortix-runtime-reconfigurable-icon
ランタイムで再構成可能
FPGAやSoCに搭載される効率的なAI推論コア
edgecortix-high-speed-low-latency-icon
低レイテンシ
4msec以下 (負荷が高い場合)
edgecortix-deploy-pretrained-model-icon
高い稼働率
並行ニューラルネットワークモデルで80%以上

DNA IPは、どのように様々な次元でパフォーマンスを発揮するのか

多くのAI推論アクセラレータは、コンピュータユニットが完全に並列化された状態で、高いTOPSを実現します。しかし、実世界のAIモデルをハードウェアにマッピングすると、ニューラルネットワーク層間の並列度が下がり、稼働率が40%以下にまで低下します。この非効率性が原因で、設計者は柔軟性、サイズ、消費電力においてコスト負担を強いられてきました。

しかし、EdgeCortixでは、特許取得済みの技術を用い、DNA IP実行ユニット間のデータパスを再構成することで、より優れた並列性を実現し、オンチップメモリの帯域幅を削減することに成功しました。そして、MERAソフトウェアは、同じDNA IPコアで複数のモデルが動作している場合でも、ニューラルネットワークのタスクのスケジューリングにおいて、計算順序とリソース割り当てを最適化できます。

その結果として、性能が向上します。DNA IPは、負担がかかっても80%以上の効率性を維持します。これは、従来のGPUベースのハードウェアと比較して、16倍以上の推論/秒/Wを実現します。リアルタイムアプリケーションにおいて、決断を下すのに不可欠なレイテンシに関しては、再構成されたデータパスと最適化されたスケジューリングにより、4ミリ秒未満に抑えることができます。

EdgeCortix-Sakura-10x-Energy-Efficiency-1024
EdgeCortix-Sakura-10x-Energy-Efficiency
EdgeCortix Dynamic Neural Accelerator IP is run-time reconfigurable with high efficiency, low latency, and high utilization

DNA IPは、ハードウェアに最適化されたソリューションにおいて、
より高い柔軟性を実現します

シングルモデルのベンチマークは、比較が容易です。しかし、実世界ではパイプライン処理において、異なるモデルが異なるタスクを処理する車載センシングのような、マルチモデルが出現しています。

DNA IPMERAソフトウェアの組み合わせは、ハードウェアが一部の一般的なニューラルネットワークモデルにのみ最適化されているわけではないため、幅広いモデルをより効率的に動作させることができます。

DNA IPの内部には3種類の異なる実行ユニットがあり、それぞれがINT32アキュムレータによるINT8乗算・積算演算をサポートしています。

  • 標準的な畳み込みエンジンは、3x3から64x64までの拡張可能なシストリックアレイを使用し、データパス機能を最適化
  • Depthwise方向の畳み込みエンジンは、2Dアプローチを取ることで、3Dカーネルを2Dスライスに分解し、最適化されたインターコネクトが使用可能
  • 独立したベクトルユニットは、カメラベースのビジョンシステムで一般的な操作である、ニューラルネットワークの活性化やスケーリングなどのタスクにおいて力を発揮
これにより、DNA IPはストリーミングデータ(batch=1)と高解像度データ(ビデオや点群など)のいずれにも対応できるようになります。また、DNA IPはスケールアップやスケールダウンが可能であり、性能、消費電力、サイズ、柔軟性が重視されるエッジデバイスに効率的なAI推論IPソリューションを提供します。

開発者はどのようにDNA IPを試せるのか

BittWare社製 FPGAカードに搭載された推論パッケージ

The BittWare IA-420 with an Intel Agilex FPGA hosts a reference port of EdgeCortix DNA IP for edge AI developers

DNA IPコアは、FPGAまたはSoC設計のいずれにも柔軟に対応します。EdgeCortixは、BittWare社と共同で、高性能なIntel® Agilex™ FPGAを搭載したBittWare IA-840F およびIA-420Fカード用に、すぐに使用可能なビットストリームを含むDNA IPコアの推論パッケージを開発しました。

Block diagram of the EdgeCortix DNA IP in a bitstream for the Intel Agilex FPGA on the BittWare IA-420F or IA-840F
EdgeCortix MERA is a compiler and AI inference software framework translating models into code for an edge AI co-processor

DNA IPMERAを使った開発

EdgeCortix MERAは、DNA IPを使用した、ディープニューラルネットワークのグラフコンパイルとAI推論を可能にするために必要なコンパイラおよびソフトウェアフレームワークです。オープンソースのApache TVMコンパイラフレームワークのサポートを内蔵し、事前に学習されたディープニューラルネットワークのビットストリームをDNA IPにデプロイするために必要なツール、API、コードジェネレータ、ランタイムを提供します。MERAは、PyTorch、TensorFlow、TensorFlow Lite、,ONNXなどのツールを使ったモデル開発ワークフローをサポートしています。

bittware-logo-v2
「業界全体において、AI/機械学習のワークロードがかつてないほど増加する中、業界を牽引するIPプロバイダであるEdgeCortixと共に提供するソリューションは、当社のIntel Agilex FPGAベースの製品ポートフォリオを完全なものにします。当社の顧客は、現在だけでなく、将来の様々なビジネスニーズにおいて、リスクやコストを下げながら、パフォーマンスを向上させることができるという高い水準のAI推論ソリューションを求めていました。」
Craig Petrie
BittWare セールス&マーケティング副社長

Dynamic Neural Acceleratorについて詳しく知る