AIプロセッサの省エネ化をどう実現？ Samsungの解「PIM」を解説：Hot Chips 2026の講演から（4/4 ページ）

2026年8月に開催された「Hot Chips 2026」から、Samsung Electronicsおよび、SamsungとXCENAの講演を紹介したい。いずれも、AIプロセッサのボトルネックである消費電力を下げる方法として、NMC（Near-Memory Compute）というアプローチを提案。2つの講演内容を解説し、AIプロセッサを含むシステムアーキテクチャの将来像を見てみたい。

[大原雄介，EDN Japan]

「システム全体」を見るとNMCである

　さて、これのどこがNMCなのか？ という話なのだが、実はMUないしVPEそのものの動作は、比較的普通のAI向けプロセッサそのものであって、NMCでも何でもない。なのだが、システム全体として考えた場合には間違いなくNMCであるというのは図15を見ると分かる。

図15：ホストはXeon 6767Pだそうで、これでAIの処理を行うのはどうだろう？という気はするのだが。スループット（左端）で言えば、CXL Memoryとして使った場合はDRAMの半分ほどになっているが、MX1として使うとほとんどのケースでDRAMに比肩する性能が出ているのが分かる。要するに無駄なデータを送らなくても結果だけ受け取れるから、という話である［クリックで拡大］ 出所：XCENA

　図15は、Local CPUで実行と、CXLメモリを利用しての実行、それとCXLメモリ+MX1で、演算結果だけを返すという3種類のスループットと消費電力、効率を比較したものである。「CXLメモリを使ってAIを実行するか？」という疑問が当然あるだろうが、昨今はメモリの速度よりもメモリの容量の方が性能に大きな影響を与えつつある。最大2TBというMX1のDRAM容量は、KV Cacheが肥大化してもそれを格納するに十分な容量がある。ところがCXLということはI/FはPCIe（Gen 6 x16）なので帯域はピークでも片方向128GB/sec程度である。DRAM自身は図12にあるようにDDR5-8400×4chだから268.8GB/secに達するのだが、ここまでのアクセス速度は出ない事になる。ところがMX1の場合、そもそもメモリの内容を全部CPUが読み出す必要が無い。演算処理そのものはMX1の側で行い、結果だけをホストに返せば済むからだ。これによりCXLであっても帯域的には十分というかお釣りがくる結果になる。ということはCXLの消費電力も低く抑えられるわけで、結果として図16の右端のように、圧倒的に高い性能/消費電力比を実現できるというわけだ。

図16：大規模言語モデル（LLM）の精度を高めるために検索（Retrieval）と生成（Generation）を組み合わせるのがRAG（Retrieval-Augmented Generation）という技法で、これの実装にあたって広く使われているのがVector Searchである［クリックで拡大］ 出所：XCENA

　このMX1はXCENAだけでなくSamsungも評価を行っており、RAG Vector Search（Photo16）ではCXL Memoryとして使った場合と比較して64倍の品質と65.4倍の効率改善が、LLMのDecode（図17）では性能を3.35倍、効率を3.84倍改善できたとしている。

　PIMにしてもNMCにしても、まだ既存のアーキテクチャを全部置き換えていくには、いろいろ制約があるという話は冒頭でも示したが、既存のアーキテクチャと組み合わせると性能を大きく改善できるというのが、SamsungとXCENAが行った2本の講演の骨子である。PIMやNMCはこういった形で少しずつ、実際の現場に使われていくようになるのかもしれない。

図17：こちらではBlackwellとMX1を組み合わせるという実装である［クリックで拡大］ 出所：Samsung Electronics