理想的なインターコネクト規格を探る：オープンコンピューティング向けインターコネクト［後編］（2/5 ページ）

あらゆるコンピューティングで必要なインターコネクト。オープンな高性能コンピューティングのための「理想的な」効率の高いインターコネクトの特性を紹介する本稿の後編では、規格それぞれの特性を詳しく見ていきながら、理想的なインターコネクト規格を探っていく。

[IDT（Integrated Device Technology），EDN Japan]

Ethernet

　Ethernetより大きなエコシステムとのインターコネクトを想像することは、難しいでしょう。Ethernetはインターネットの大半の基礎であり、地球上で最大のインターコネクトの実装になります。Ethernetの仕様は完全にオープンであり、全ての人が参加し貢献できます。

　ユーザーグループがより迅速なリンクに集約されるにつれ、多くのEthernetユーザーは大量のグッドプットを必要とします。Ethernetネットワークは従来、5年ごとにトップの帯域幅を10倍に増加してきました。これによって、1980年代と1990年代に10Mbpsおよび100Mbps水準の技術だったインターコネクトが、今日のインターネットネットワークで使用される100Gbpsおよび400Gbpsレベルの技術へ成長することが可能となりました。

　Ethernet接続性は従来、PCIeを介して周辺デバイス（NIC）で実行されていましたが、多数のデバイスに統合されたため、システム設計者がうまく組み合わせることが可能です。Ethernetソフトウェアエコシステムによって、Ethernetが使いやすくなっています。Ethernet接続性は、ネットワーキングと言い換えられるほどユビキタスになっています。メッセージング能力は、Ethernetネットワーキングの長所です。Ethernetソフトウェアとハードウェアは、任意のダイナミックインターコネクトトポロジを介して、非常に信頼できる、フォールトトレラントなメッセージング能力を提供するよう進化してきました。Ethernetは、幅広いコネクション型とコネクションレス型プロトコル、マルチキャスト／ブロードキャスト、フロー制御スキームに対応しています。このため、iWARPとRoCEによりRDMAを実行するために使用できます。

　マスマーケット向けEthernetテクノロジは、比較的低い帯域幅、高レイテンシの接続とネットワーク向けに最適化されてきました。

高性能演算アプリケーションには不適切

　この基本的な想定のため、Ethernetは高帯域幅、低レイテンシ接続を必要とする、高性能演算アプリケーションには不適切だと見なされています。さまざまなクラウドベースのアプリケーションが普及するにつれ、高帯域幅、低レイテンシのEthernetの市場も増加しています。しかしながら、クラウドコンピューティングモデルによって可能とされる集中と共有によって、図7に示すように、高帯域幅のEthernet市場の規模は、マスマーケット向けEthernetのものよりかなり小さくなります。

　Ethernetネットワークは、トランザクションの伝送を保証しておらず、これらのトランザクションが順番に届くことも保証していません。具体的には、iWARPがベースとする、広く使用されるTCPプロトコルのフロー制御スキームでは、パケット紛失によって正しく運用されるかが左右されます。パケット紛失は偶然に、あるいは輻輳（ふくそう）を管理するために意図的に起こす場合があります。パケット紛失が発生するという基本的な想定があるため、Ethernetネットワークを介してリード／ライト命令を効率的に実行することが不可能になるでしょう。またEthernetを介した効率的なキャッシュコヒーレンシも不可能になります。

図1 Ethernetアーキテクチャ

転送エラーとレイテンシ

　Ethernetテクノロジのパケット廃棄の必要性に関する別の影響は、グッドプットが利用可能な実効帯域幅の量よりずっと少ないことです。一部のケースでは、これは、ハードウェアやソフトウェアでEthernetリンクを終端するのが難しいことを直接示しています。それほど多くのEthernetフレームを取り扱うことができないプロセッサに100Gbpsの帯域幅を実現することは意味がありません。長距離通信向けに設計されたEthernetフロー制御メカニズムは、現在のリンク速度のコンテクストにおいては速度が遅くなります。パケット廃棄を検出し、フロー制御をトリガーする往復のエンド・ツー・エンドのタイムアウトは、幅広い、不確かなスイッチスケジューリング行動とトラフィック状況に対応するために、高く設定しなければなりません。SDNとOpenFlowイニシアチブでは、さらなるソフトウェア／ハードウェアの複雑さと潜在的なレイテンシを犠牲にして、必要な帯域幅が各接続に利用可能なように、帯域幅管理とパケットルーティング決定を集中させることで、この制限を克服するよう設計されています。

　そのような集中的なリアルタイム調整がエクサスケールコンピューティングに実現可能かどうかは、興味深い質問です。Ethernetネットワークでパケット紛失につながる、短期的な輻輳をなくすことは、コンピューティングにおいて難しい問題です。Forward Error Correction（前方誤り訂正）などのメカニズムを通して転送エラーをなくすと、レイテンシが増加します。両方の要素は、高性能コンピューティングのためのEthernetネットワークの効率に大きな障害となります。