網路診斷

GPU 叢集節點互聯頻寬

tfd-runai.com
2026-07-09 · iperf3 / TCP

目前叢集中有三台 GPU 節點運作中 — gpu-node-1 已於 2026-07-07 除役, 不在本次測試範圍內。gpu-node-3gpu-node-4 共用 10.2.128.0/24 網段上的 100GbE 骨幹網路;gpu-node-2 則是一台位於獨立網段 10.3.128.0/24 的虛擬機器,需經過一次路由(L3 hop)才能互通。

10.2.128.0/24 — 100GbE 骨幹網路 937 Mb/s 937 Mb/s 93.9 Gb/s 10.3.128.254 gpu-node-2 虛擬機器 · 10.3.128.138 gpu-node-3 10.2.128.41 gpu-node-4 10.2.128.51
100GbE 骨幹網路 — 滿速直連 跨網段連線 — 頻寬上限約為 1GbE 等級

重點速覽

尖峰吞吐量
93.9 Gb/s
node-3 ↔ node-4,4 條並行連線
單一連線頻寬上限
42.3 Gb/s
node-3 ↔ node-4,單一連線
跨網段吞吐量
937 Mb/s
node-2 至任一節點,雙向皆同
最佳延遲
0.065 ms
node-3 ↔ node-4 平均往返延遲

測試結果

測試工具為 iperf3(TCP),除特別註明外每次測試皆執行 10 秒。重送次數為該次測試中所有並行連線的 TCP 封包重送次數總和。

完整測試結果,每列代表一次測試
連線 連線數 總頻寬 平均單線頻寬 重送次數 延遲(平均 / 最小 / 最大) 狀態
4 × 10 s 93.9 Gb/s ~23.4 Gb/s 319 0.065 / 0.054 / 0.105 ms 滿速直連
1 × 5 s 42.3 Gb/s 42.3 Gb/s 0 單線頻寬上限
4 × 10 s 937 Mb/s ~234 Mb/s 3,223 0.273 / 0.127 / 0.428 ms 瓶頸
4 × 10 s 937 Mb/s ~234 Mb/s 2,994 0.173 / 0.144 / 0.219 ms 瓶頸

現象解讀

!

node-2 的連線頻寬被限制在接近 1GbE 的等級,原因並非傳輸距離。通往 node-2 的 兩條路由路徑,往返延遲都僅有幾百分之一毫秒,速度快到不可能是路由本身造成的瓶頸;然而兩條路徑的 實測吞吐量都停在約 937 Mb/s,且每次測試都有上千次的封包重送。node-2 的網卡 (enp6s18)是 virtio-net 虛擬裝置,因此 ethtool 無法讀到真實的實體連線速度——這台節點其實是一台虛擬機器。

這種一致且對稱的頻寬上限,指向問題出在虛擬化主機(hypervisor)用於 node-2 的實體對外網路或 虛擬交換器連接埠,很可能被限制在 1GbE。如果之後需要讓 node-2 達到接近 100G 骨幹網路的傳輸速度, 建議先從這裡排查。