BrainChip、エッジで生成AIやLLMを実行できるプロセッサIP：イヤフォンやセンサーノードに

BrainChipは、エッジデバイス上で生成AIや大規模言語モデルを実行できるプロセッサIP「Sequora」を発表した。状態空間モデルに最適化し、メモリ要件を一定に保ちながら生成AI処理を実行できる。

[EDN]

バッテリー駆動のエッジデバイスで、生成AIやLLMを直接実行

　BrainChipのプロセッサIP（Intellectual Property）コア「Sequora」は、イヤフォンやセンサーノードなどのバッテリー駆動のエッジデバイス上で、生成AIや大規模言語モデル（LLM）を直接実行できる。同社のニューラルプロセッサIP「Akida」と組み合わせることで、相互に補完するAIワークロードを処理できる。

[クリックで拡大] 出所：BrainChip

　Akidaは、振動、音声、レーダー、生のRF IQデータ、生体信号など、ストリーミング形式のセンサーデータを処理する。一方、Sequoraは、デバイス上でのLLM推論から音声対音声の対話、AIエージェントまで、生成AIやシーケンシャルAIのタスクを実行する。Sequoraは、入力履歴を固定サイズの状態で表現する状態空間モデル（SSM）向けに最適化されていて、シーケンス長に関係なくメモリ要件を一定に保てる。このアーキテクチャは、リソースに制約があるエッジデバイスでの生成AIワークロードに適している。

　Sequoraは、信号処理とニューラルネットワーク演算の両方に共通の積和演算（MAC）アレイを使用するため、独立したDSPによる前処理段階が不要になる。また、命令セットアーキテクチャ（ISA）によってソフトウェアのアップデートを通じて新しいアルゴリズムを導入できる。

　Sequoraは現在、ライセンス供与可能な半導体IPとして提供されていて、製造プロセスへの移植が可能な、完全に論理合成可能なレジスタ転送レベル（RTL）形式で提供される。パッケージには、検証用IP、論理合成スクリプト、コンパイラーやC++ランタイムライブラリー、モデルZooを含むソフトウェア開発キット（SDK）が含まれる。

原文へのリンク