しかし、エッジコンピューティングが直面する最大の課題の1つに、画像、ビデオ、オーディオ、テキスト、スピーチ、センサーなど、複雑化・多様化するデータソースやモダリティを処理することが挙げられます。そして、この課題を解決するには、マルチモーダル生成人工知能(AI)が活躍します。
マルチモーダルAIは、アプリケーションが人間のような豊かで自然なやり取りを理解し、生成することを可能にします。生成AIには、ユニモーダルなものとマルチモーダルなものがあります。マルチモーダルAIによって、アプリケーションは異なるモダリティから補完的で重複する情報を活用し、結果の精度とロバスト性を向上させることができます。すでにマルチモーダル生成AI機能を使用しているアプリケーションの例としては、会話エージェント、画像キャプション、ビデオ要約、感情認識などがあります。
しかし、マルチモーダルAIはエッジコンピューティングに大きな課題を突きつけます。なぜなら、高い計算能力、広いメモリ帯域幅、複数のデータストリームをリアルタイムで処理し融合する複雑なアルゴリズムが必要になるからです。スマートフォン、カメラ、IoTセンサーなどの従来のエッジデバイスは、バッテリー寿命、ストレージ容量、処理能力に制約があることが多いです。このような制約があるため、性能、効率、品質に妥協することなく、エッジでマルチモーダルAIを実現できる革新的なソリューションが求められています。
このような観点から、生成AIと大規模な言語モデルは、デジタルコンテンツを作成し、消費する方法を再定義する可能性を秘めています。デバイスでは、リアルで興味をそそるテキスト、画像、音声、ビデオをゼロから、またはユーザーの入力に基づいて作成することができます。ライブビデオストリームのキャプションを生成できるスマートカメラや、テキストから自然な音声を合成できる音声アシスタントを想像してみてください。
一例として、DeepMindの最近のFlamingo視覚言語モデルは、マルチモーダルなタスクを解決するためにモデルを導くことができる、テキストとビジュアルのインターフェイスを備えています。これは、大規模言語モデル(LLM)が、テキストプロンプトでタスク例を処理することで言語タスクを実行するのと同じです。
このモデルは、few-shot学習と呼ばれる学習パラダイムに従って、数組の視覚入力と予想されるテキスト応答を見た後に、新しい画像やビデオで質問すると答えを生成することが可能です。
Visual language model in multimodal (images and text) generative AI context
Video credit: Flamingo
エネルギー効率の高いエッジAIプロセッサは、エッジデバイス上で実行可能なマルチモーダル生成AIや大規模言語モデルを実行するための革新的な新しい技術やテクノロジーと組み合わせることで、これらのデバイスを実現する上で重要な役割を果たすでしょう。可能性のある方向性としては、以下のようなものが挙げられます。
マルチモーダルな 生成AIをエッジに導入することで、産業全体に革命を起こすことができます。そして、EdgeCortixは、将来のエッジコンピューティングに対応するエネルギー効率の高いAIプロセッサーとソフトウェアの技術を開拓しています。私たちは、高性能、省電力、柔軟なプログラマビリティを備えたマルチモーダルAIアプリケーションを作成するための高度なハードウェアおよびソフトウェアツールを提供します。
EdgeCortixのビジョンは、防衛・セキュリティ、スマートシティ、ヘルスケア、教育、エンターテインメントなどの産業向けに、マルチモーダルなAI機能でエッジを強化することです。私たちは、マルチモーダルAIがエッジコンピューティングの可能性を最大限に引き出す鍵であると考えています。そして、2つのEdgeCortix製品群は、すでに大きな影響を与えています。
マルチモーダル生成AIは、エッジにおける性能、電力効率、品質の問題に対する革新的なソリューションを必要とする最先端の分野です。EdgeCortixは、画期的なSAKURA AIプロセッサとMERAソフトウェアによって、このようなソリューションを提供するエッジAI企業です。私たちは、今日のデータセンター向けの消費電力とコストの高いソリューションをはるかに超え、エッジ側で、さまざまな産業やドメインに対応できる省電力のマルチモーダルAM機能を実現することに注力しています。EdgeCortixは、エッジにおけるマルチモーダルAIによって、よりインテリジェントでエネルギー効率の高い、そしてコネクテッドな世界を構築する最前線にいます。
サキャシンガ・ダスグプタ博士は、EdgeCortix社の創設者兼CEOです。EdgeCortix設立以前は、IBMリサーチのシニア・リサーチ・サイエンティストおよびロボット工学部門のエグゼクティブリードを務めていました。 最先端の人工知能(AI)ハードウェアやソフトウェアの研究、ゼロからのチーム作り、実世界でのAIソリューションの構築など、様々な分野において10年以上の経験を積んできました。 これまでに20件以上特許を取得しており、AIとエッジコンピューティングについて幅広く発表を行ってきたサキャの研究の引用回数は800件以上にものぼります。 ドイツ・マックスプランク研究所で博士号を、エジンバラ大学で人工知能の修士号を取得。