數據中心網絡(data center network)指的是連接數據中心内部的海量服務器、連接分布式數據中心以及連接數據中心與終端用戶之間的網絡。數據中心網絡是伴随着互聯網服務規模的增長、升級,以及雲計算等新型服務模式的出現而形成的。對于一個互聯網公司而言,當其提供的服務規模較小時,僅需一台或幾台服務器就足夠了,這時并不需要複雜的網絡技術;但當其所提供的互聯網服務增加到很大的規模(如谷歌、亞馬遜、阿裡巴巴、騰訊等公司)時,則需要幾十萬台甚至數百萬台服務器才能提供用戶所需的互聯網服務,這時就誕生了數據中心網絡。
數據中心網絡可以分為三個部分:(1)數據中心内部網絡。主要是連接數據中心内的海量服務器,支持數據中心服務器之間的通信需求。這部分網絡可以被視為一種“計算機局域網”,而這部分流量經常被稱為數據中心的“東西流量”。(2)分布式數據中心之間的網絡。一個互聯網業務提供商可能修建了多個數據中心(為了異地災備、降低延遲等多種考慮),連接這些分布式數據中心之間的網絡,也是數據中心網絡的組成部分。這部分網絡一般是專線(自建或租用)連接,但也不排除使用電信運營商的公共互聯網。(3)連接數據中心和終端用戶之間的網絡。大部分情況下,數據中心與終端用戶之間是通過電信運營商的接入網絡來互通的,但當前許多互聯網公司所修建的數據中心已經離用戶越來越近,部分互聯網公司甚至有過自建網絡直聯用戶的做法(比如谷歌公司曾經的“谷歌光纖”項目)。數據中心與終端用戶之間的流量,經常被稱為數據中心的“南北流量”。
數據中心網絡與互聯網的關系
互聯網(Internet)是對“網絡”進行“互聯”的“網絡”。IP協議(Internet Protocol)是互聯網最核心的協議,圍繞互聯網“開放與互聯”的使命而設計,是互聯網取得巨大成功的重要原因之一。以IP協議為核心的互聯網技術,也将成為打通行業網絡“孤島”、連接不同行業網絡的關鍵技術,是貫通“新基建”中5G網絡、工業互聯網、衛星互聯網、數據中心網絡等不同網絡的“血管”,是更“全局”、更“基礎”的基礎設施技術。
世界上并不存在所謂的“互聯網運營商”,因為互聯網本身是一個完全分布式的架構。我們常說的互聯網服務提供商(Internet Service Provider,ISP),其實是為不具備網絡部署能力的機構或個人提供互聯網接入”服務的公司,一旦網絡部署完成,ISP并不能成為這些網絡的“管理者”或“運營者”(ISP可以協助運維)。從理論上講,任何一個“網絡”要想加入“互聯網”,隻要申請到IP地址、AS号等基本互聯網資源就可以了,數據中心網絡也是一樣。如今,很多大型互聯網公司的數據中心網絡都有完全獨立的AS号、IP地址段等。
數據中心網絡已經成為互聯網基礎設施的重要組成部分。值得注意的是,數據中心網絡加入互聯網的部分,既包括傳統意義上的“計算機局域網”(即單個數據中心的内部網絡),也包括傳統意義上的“廣域網”(即分布式數據中心之間的網絡)。如果互聯網公司直接提供光纖到戶服務,那就相當于把電信運營商直接“旁路”了(這種做法并不經濟,因此“谷歌光纖”項目被停掉了)。
因為加入了互聯網,所以數據中心網絡的所有行規則與互聯網無異了,這些運行規則包括但不限于:(1)通過運行域間路由協議,向外發布數據中心網絡的IP地址前綴及路由;(2)數據中心網絡内的每台服務器都分配一個IP地址;(3)數據中心網絡中的每個節點運行TCP/IP協議棧,與互聯網其他部分交互的報文都要封裝一個IP頭部。當然,數據中心網絡内部服務器之間交互的流量,其協議棧的選擇相對靈活,比如可以采用“大二層網絡”(用MAC地址轉發),也可以采用RoCE(RDMA over Converged Ethernet)協議棧,但就算在這兩種情況下,一般也會給報文封裝PP頭部(但不一定用P地址來轉發)。
數據中心内部網絡與傳統局域網的區别數據中心内部網絡本質上屬于計算機局域網,與園區網、企業辦公網絡等其他的傳統計算機局域網相比,存在以下特點:
1. 數據中心内部網絡的流量主要是機器産生的,而傳統的園區網、企業網的流量主要是人産生的。數據中心把大規模的服務器進行互聯通信,不管是數據中心網絡的内部流量,還是數據中心與終端用戶之間的通信流量,都是機器産生的。因此數據中心網絡的流量往往具有突發性強、缺乏規律性的特點,流量的可預測性不強。
2. 數據中心内部網絡的鍊路密集、拓撲規整性強。與園區網、企業網等相比,數據中心網絡主要是把海量服務器進行互聯,這些服務器都被密集地放置,因此服務器之間的鍊路也非常密集。為了讓這些服務器進行更好的互聯通信,服務器之間的互聯拓撲也往往具有較強的規整性,比如fat-tree(胖樹)、VL2、BCube等拓撲。
3. 數據中心内部網絡的端到端帶寬極高、延遲極低。由于當前的互聯網服務規模不斷增加,數據中心網絡産生的流量極高,服務器之間的端到帶寬當前已經達到100Gbps,未來還會繼續增長;而園區網、企業網的端到端帶寬大部分情況下是在MGBps級别。由于數據中心網絡連接的服務器之間距離很近,帶寬又極高,因此服務器之間的端到延遲極低,往往在微秒級别;而園區網、企業網的端到端延遲較高,一般在毫秒級别。
數據中心内部網絡與超級計算機内部網絡的區别由于數據中心是把大量服務器(計算節點)相連,讓人很容易将其與超級計算機聯想到一起。但是,數據中心網絡與超級計算機的内部網絡還存在以下區别:
1. 大部分數據中心是商業公司所擁有的,因此在技術選擇上更看重“性價比”,而非“絕對性能”。所以,數據中心網絡往往采用TCP/IP/Ethernet這樣的互聯網技術協議棧,因為這一類協議棧所對應的硬件設備成本較低。而超級計算機的内部網絡主要看重性能,采用的是InfiniBand這樣的通信協議棧。
2. 由于數據中心網絡側重于“性價比”的考慮,往往采用較為“廉價”的硬件設備,因此網絡協議的設計中需要考慮容錯性。這與數據中心MapReduce、HDFS等分布式計算或分布式存儲系統的設計思想一緻,即通過軟件上的設計,在相對“低端”“不可靠”的硬件設備上實現高性能的系統性能。而超級計算機的内部網絡往往通過硬件手段(比如備份硬件)來解決容錯問題。
,