検索
特集

AIプロセッサの省エネ化をどう実現? Samsungの解「PIM」を解説:Hot Chips 2026の講演から(2/4 ページ)

2026年8月に開催された「Hot Chips 2026」から、Samsung Electronicsおよび、SamsungとXCENAの講演を紹介したい。いずれも、AIプロセッサのボトルネックである消費電力を下げる方法として、NMC(Near-Memory Compute)というアプローチを提案。2つの講演内容を解説し、AIプロセッサを含むシステムアーキテクチャの将来像を見てみたい。

Share
Tweet
LINE
Hatena

LPDDR5X-PIMの仕様

 図6がそのLPDDR5X-PIMの仕様をまとめたものである。合計8ダイから構成され、それが4ダイずつ2 rankに纏められている。おのおののダイは先に説明したように16 Bankで構成されるので、1チップ当たりのトータルでは128 Bankという計算になる。今回PIMの動作周波数が示されていない(質疑応答でもダイサイズなども含めて詳細データは公開できないという返答だった)が、係数が8bitなら1.2TOPS/1.2TFlops、4bitなら2.4TOPSというデータが示されている(図7)から、恐らく内部のPIMは600MHz程度で動作しているものと思われる。ちなみにHBM-PIMの時は内部動作速度は300MHzと発表されていたが、1 StackあたりのPIMの数はLPDDR5X-PIMの2倍であり、性能は同等の1.2TFlopsだった事を考えると、倍速動作になっているものと考えるのが妥当だろう。

 ちなみにHBM-PIMは20nmでの製造だったが、LPDDR5X-PIMは恐らく1γnmプロセスでの製造と思われるし、ベースとなるLPDDR5Xは9600Mbpsでの転送が可能とされているから、600MHzでの動作は何ら問題ないと思われる。


図6:HBM-PIMの時から、だいぶRegister Fileが増強されているように見える[クリックで拡大] 出所:Samsung Electronics

図7:係数(Weight)の幅で演算性能が変わる。多分デフォルトは8bit幅であり、ただし4bit幅×2のオプションが追加されたのだろう[クリックで拡大] 出所:Samsung Electronics

 またHBM-PIMの時代には無かった機能として、新たにAAM(Address Aligned Mode)が追加されている(図8)。これはMAC演算の際の対象がアドレス順で並んでいない際に、これを自動で修正する仕組みである。これにより、効率よく演算処理が行えることになる。


図8:左が従来のMisalignな状態。もちろん、最初からMACユニットがこういうMisalinな状態での演算を想定していれば問題は無いのだが、通常は異なる。なのでデータの入れ替えか命令の入れ替えが必要になる。AAMではこれをRegister File側で正しくAlineして処理を行うので効率よく実行が可能になる[クリックで拡大] 出所:Samsung Electronics

 これによる性能向上の結果として示された一例が図9。Llama-3.1-8Bを実施する際に、LPDDR5X-PIMを利用する事で性能が3倍に向上したとされる。正確に言えばTokenの出力性能は3倍(27.0→81.3)になった一方、微妙にTTFT(Time To First Token)は悪化している。これはLPDDR5X-PIMを利用するためにはメモリバス経由で動作を切り替える必要があり、これに若干の時間を要するためにオーバーヘッドが増えたためだろうが、それでも0.51sec→0.53secだから性能改善度合いと比較すれば十分帳尻は合っていると考えてよいだろう。そして処理性能が上がれば当然Run Timeも改善されるわけだ(図10)


図9:比較対象はSamsung Edge AI Accelerator SoCとあるが、多分既存のMobile向けSoC(Exynosシリーズ?)の内蔵NPUが基準と思われる[クリックで拡大] 出所:Samsung Electronics

図10:まだPIMの最適化は途中、という注釈がついているので更に性能差が広がる可能性はある[クリックで拡大] 出所:Samsung Electronics

 では今すぐ全部LPDDR5XをLPDDR5-PIMにすれば性能が急上昇するのか? というとこれは微妙なところで、チップ1個あたり1.2TFlopsだから、例えば24個並べても29TFlops程度であり、Datacenter AI向けの製品の様に大量の演算器と大量のSRAM、それとHBMを山ほど搭載する製品には性能面では絶対に追い付かない。ただ性能/消費電力比で言えばこうした従来の構成を圧倒しており、昨今ではこれが重要視されている事を考えると、SamsungがPIMに注力する理由も分かりやすい。追い風となっているのがJEDECの動向である。LPDDR5X-PIMはあくまでSamsung独自の技術であるが、LPDDR6-PIMはJDEDECで標準化が進められている事が示されており(図11)、これが実現すれば特にEdge向けで広く利用される事が容易に想像できる。


図11:ここで言及されている"LP5X-PIM SIM:A High-Fidelity HW/SW Integrated Simulator for LPDDR5X-PIM"はこちら。サイクル精度のシミュレーターであり、この上でGEMVは6.2倍、ReshapeなどのTile Operationは1.65倍の性能を出したとされている[クリックで拡大] 出所:Samsung Electronics

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る