網路診斷
目前叢集中有三台 GPU 節點運作中 — gpu-node-1 已於 2026-07-07 除役,
不在本次測試範圍內。gpu-node-3 與 gpu-node-4
共用 10.2.128.0/24 網段上的 100GbE 骨幹網路;gpu-node-2
則是一台位於獨立網段 10.3.128.0/24 的虛擬機器,需經過一次路由(L3 hop)才能互通。
測試工具為 iperf3(TCP),除特別註明外每次測試皆執行 10 秒。重送次數為該次測試中所有並行連線的 TCP 封包重送次數總和。
| 連線 | 連線數 | 總頻寬 | 平均單線頻寬 | 重送次數 | 延遲(平均 / 最小 / 最大) | 狀態 |
|---|---|---|---|---|---|---|
| node-3 ↔ node-4100GbE,同網段 | 4 × 10 s | 93.9 Gb/s | ~23.4 Gb/s | 319 | 0.065 / 0.054 / 0.105 ms | 滿速直連 |
| node-3 → node-4單一連線 | 1 × 5 s | 42.3 Gb/s | 42.3 Gb/s | 0 | — | 單線頻寬上限 |
| node-2 → node-3跨網段,經 1 次路由 | 4 × 10 s | 937 Mb/s | ~234 Mb/s | 3,223 | 0.273 / 0.127 / 0.428 ms | 瓶頸 |
| node-2 → node-4跨網段,經 1 次路由 | 4 × 10 s | 937 Mb/s | ~234 Mb/s | 2,994 | 0.173 / 0.144 / 0.219 ms | 瓶頸 |
node-2 的連線頻寬被限制在接近 1GbE 的等級,原因並非傳輸距離。通往 node-2 的
兩條路由路徑,往返延遲都僅有幾百分之一毫秒,速度快到不可能是路由本身造成的瓶頸;然而兩條路徑的
實測吞吐量都停在約 937 Mb/s,且每次測試都有上千次的封包重送。node-2 的網卡
(enp6s18)是 virtio-net 虛擬裝置,因此
ethtool 無法讀到真實的實體連線速度——這台節點其實是一台虛擬機器。
這種一致且對稱的頻寬上限,指向問題出在虛擬化主機(hypervisor)用於 node-2 的實體對外網路或 虛擬交換器連接埠,很可能被限制在 1GbE。如果之後需要讓 node-2 達到接近 100G 骨幹網路的傳輸速度, 建議先從這裡排查。