關(guān)于浙江電信云資源池引入VxLAN的部署初探論文
中國(guó)電信浙江公司為解決業(yè)務(wù)云資源池中網(wǎng)絡(luò)資源管理遇到的困境，試點(diǎn)引入VxLAN技術(shù)，以此為基礎(chǔ)構(gòu)建與物理網(wǎng)絡(luò)松耦合的網(wǎng)絡(luò)虛擬化資源池，進(jìn)一步探索私有云網(wǎng)絡(luò)資源開(kāi)放的可行性。本文從VxLAN技術(shù)的實(shí)際部署設(shè)計(jì)方案出發(fā)，解析云資源池引入VxLAN的設(shè)計(jì)要點(diǎn)，并結(jié)合資源池的實(shí)際情況，進(jìn)一步分析引入VxLAN如何為云資源池在網(wǎng)絡(luò)資源管理效率方面帶來(lái)提升。
主要問(wèn)題
中國(guó)電信浙江公司自2011年開(kāi)始研究部署云計(jì)算技術(shù)，建設(shè)了業(yè)務(wù)云計(jì)算資源池。經(jīng)過(guò)幾年的發(fā)展和優(yōu)化，現(xiàn)已基本形成安全、可靠的云計(jì)算資源池體系。目前在資源池上已經(jīng)承載了包括企業(yè)信息化系統(tǒng)在內(nèi)的近300個(gè)應(yīng)用平臺(tái)。自2013年開(kāi)始，伴隨著資源池規(guī)模的增大、部署應(yīng)用系統(tǒng)的增多、業(yè)務(wù)需求的不斷疊加，網(wǎng)絡(luò)能力逐漸成為了資源池演進(jìn)的瓶頸：網(wǎng)絡(luò)集中配置導(dǎo)致業(yè)務(wù)開(kāi)通時(shí)間越來(lái)越長(zhǎng)、不同應(yīng)用的網(wǎng)絡(luò)個(gè)性需求不斷疊加到基礎(chǔ)網(wǎng)絡(luò)上、網(wǎng)絡(luò)資源的SLA粒度與資源池其他資源的分配管理互不匹配等。
究其原因，我們認(rèn)為主要存在以下兩點(diǎn)。
● 資源池網(wǎng)絡(luò)相關(guān)設(shè)備均是由傳統(tǒng)的IP設(shè)備組成，維護(hù)人員直接管理、配置和維護(hù)物理設(shè)備，但是物理設(shè)備無(wú)法實(shí)現(xiàn)高效的動(dòng)態(tài)化。已經(jīng)可以動(dòng)態(tài)按需分配的計(jì)算資源會(huì)因物理網(wǎng)絡(luò)設(shè)備的限制而無(wú)法高效地實(shí)現(xiàn)自動(dòng)化供給與調(diào)配;不同類(lèi)型資源的統(tǒng)一快速配置與編排組合還難以做到，快速的自動(dòng)協(xié)同更是不可能;無(wú)法滿(mǎn)足多租戶(hù)環(huán)境下不同客戶(hù)對(duì)各類(lèi)資源的統(tǒng)一快速供給需求。
● 資源池內(nèi)共享的網(wǎng)絡(luò)資源導(dǎo)致物理設(shè)備上配置復(fù)雜，各配置信息集中在某些核心設(shè)備上，缺乏隔離手段，會(huì)出現(xiàn)某一配置出錯(cuò)，進(jìn)而導(dǎo)致整個(gè)資源池網(wǎng)絡(luò)出現(xiàn)故障，并引發(fā)業(yè)務(wù)大面積的中斷，配置壓力也很大。復(fù)雜的配置決定網(wǎng)絡(luò)的配置必須集中在1~2名對(duì)資源池網(wǎng)絡(luò)環(huán)境非常熟悉并且對(duì)各租戶(hù)網(wǎng)絡(luò)需求充分理解的維護(hù)人員上，這不僅需要維護(hù)人員的技術(shù)水平極高，而且也形成了資源池的配置瓶頸。
因此，我們嘗試了“網(wǎng)絡(luò)資源池化”：將網(wǎng)絡(luò)資源封裝為類(lèi)似計(jì)算、存儲(chǔ)的池化資源進(jìn)行多租戶(hù)管理，并通過(guò)SDN網(wǎng)絡(luò)管理能力開(kāi)放的方法，解決上述問(wèn)題。
軟件定義網(wǎng)絡(luò)
軟件定義網(wǎng)絡(luò)(Software-Defined-Network，SDN)技術(shù)廣義上是解決云資源池網(wǎng)絡(luò)瓶頸的理想方案，其具體的實(shí)現(xiàn)方案主要包括以下3種類(lèi)型。
(1)基于專(zhuān)用接口的方案：該類(lèi)方案的實(shí)現(xiàn)思路是不改變傳統(tǒng)網(wǎng)絡(luò)的實(shí)現(xiàn)機(jī)制和工作方式，通過(guò)對(duì)現(xiàn)有網(wǎng)絡(luò)設(shè)備的操作系統(tǒng)進(jìn)行升級(jí)改造，使之能夠支持專(zhuān)用的可編程接口供網(wǎng)絡(luò)管理系統(tǒng)調(diào)用，實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備的統(tǒng)一配置管理和策略下發(fā)，改變?cè)刃枰鹋_(tái)設(shè)備進(jìn)行登錄配置的手工操作方式;同時(shí)這些接口也可用于開(kāi)發(fā)網(wǎng)絡(luò)應(yīng)用，實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備的軟件編程。其中，最典型的技術(shù)產(chǎn)品是思科的onePK(Open Network Environment Platform Kit)。
(2)基于疊加網(wǎng)絡(luò)的方案：該類(lèi)方案的實(shí)現(xiàn)思路是以現(xiàn)行的IP網(wǎng)絡(luò)為基礎(chǔ)，在其上建立疊加的邏輯網(wǎng)絡(luò)(Overlay Logical Network)用于屏蔽掉底層物理網(wǎng)絡(luò)的差異，實(shí)現(xiàn)網(wǎng)絡(luò)資源的虛擬化，使得多個(gè)邏輯上彼此隔離的網(wǎng)絡(luò)分區(qū)以及多種異構(gòu)的虛擬網(wǎng)絡(luò)可以在同一共享網(wǎng)絡(luò)基礎(chǔ)設(shè)施上共存，支持網(wǎng)絡(luò)資源的多租戶(hù)共享并突破傳統(tǒng)網(wǎng)絡(luò)技術(shù)對(duì)租戶(hù)網(wǎng)絡(luò)的限制。其中，最典型的技術(shù)產(chǎn)品包括VMware NSX及其主導(dǎo)推出的VxLAN、微軟支持的NVGRE、IBM的DOVE等，其中VXLAN利用了現(xiàn)有通用的UDP傳輸，成熟性極高�？傮w比較，VxLAN技術(shù)相對(duì)具有優(yōu)勢(shì)。VxLAN網(wǎng)絡(luò)設(shè)備主要有3種角色，分別是VTEP(VXLAN Tunnel End Point)、VxLAN GW(VxLANGateway)、VxLAN IP GW(VxLAN IP Gateway)，均是物理網(wǎng)絡(luò)的邊緣設(shè)備，而由3種邊緣設(shè)備構(gòu)成了VxLAN Overlay網(wǎng)絡(luò)，對(duì)于應(yīng)用系統(tǒng)來(lái)說(shuō)，只與這3種設(shè)備相關(guān)，與底層物理網(wǎng)絡(luò)無(wú)關(guān)。
(3)基于開(kāi)放協(xié)議的方案：這是當(dāng)前最流行的SDN實(shí)現(xiàn)方案，它引入了開(kāi)放的網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)，強(qiáng)調(diào)網(wǎng)絡(luò)中控制與轉(zhuǎn)發(fā)的分離，支持南向網(wǎng)絡(luò)設(shè)備的集中控制，并提供豐富的北向應(yīng)用編程接口，能夠有效降低網(wǎng)絡(luò)架構(gòu)復(fù)雜度，支持業(yè)務(wù)驅(qū)動(dòng)的網(wǎng)絡(luò)資源靈活調(diào)配。其中，最典型的技術(shù)成果是由ONF(OpenNetworking Foundation，開(kāi)放網(wǎng)絡(luò)基金會(huì))提出的基于OpenFlow南向控制協(xié)議的SDN架構(gòu)。
基于中國(guó)電信浙江公司云資源池的現(xiàn)狀和需求，我們選擇了對(duì)現(xiàn)網(wǎng)影響最小的疊加網(wǎng)絡(luò)方案，同時(shí)以VxLAN作為項(xiàng)目實(shí)施的核心技術(shù)，其主要原因在于：
● 大規(guī)模云計(jì)算資源池對(duì)VLAN的需求遠(yuǎn)不止4096;
● 資源池大量的物理及虛擬服務(wù)器的存在，物理交換機(jī)上的MAC表項(xiàng)資源面臨耗盡;
● 多租戶(hù)需要隔離、自主的網(wǎng)絡(luò)環(huán)境;
● 弱化運(yùn)營(yíng)商傳統(tǒng)建設(shè)采購(gòu)模式造成的底層物理設(shè)備差異性;
● VxLAN協(xié)議的引入，不會(huì)對(duì)現(xiàn)有網(wǎng)絡(luò)造成大規(guī)模的改造工作，改造風(fēng)險(xiǎn)最小。
實(shí)施方案引入
中國(guó)電信浙江公司云資源池希望在VMwarevSphere虛擬化平臺(tái)基礎(chǔ)之上，借助VxLAN技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)的虛擬化，使網(wǎng)絡(luò)資源成為一種可以按需動(dòng)態(tài)分配的資源，期望能在確保系統(tǒng)安全的前提下通過(guò)平滑、穩(wěn)定升級(jí)，實(shí)現(xiàn)資源池網(wǎng)絡(luò)能力的多租戶(hù)開(kāi)放、自配置、自管理、構(gòu)建靈活、高效、擴(kuò)展性強(qiáng)的網(wǎng)絡(luò)環(huán)境。
云資源池網(wǎng)絡(luò)現(xiàn)狀
中國(guó)電信浙江公司云資源池是一個(gè)部署在紹興和金華2個(gè)物理節(jié)點(diǎn)的“雙活統(tǒng)一”資源池，兩物理節(jié)點(diǎn)以DWDM互接，節(jié)點(diǎn)核心交換機(jī)通過(guò)跨節(jié)點(diǎn)2層虛擬化堆疊實(shí)現(xiàn)資源池的邏輯統(tǒng)一，拓?fù)淙鐖D1。云資源池網(wǎng)絡(luò)采用扁平化的網(wǎng)絡(luò)架構(gòu)(核心-接入)。
● 核心層采用H3C 12518交換機(jī)，負(fù)責(zé)高速的3層交換。
● 接入層主要采用H3C 5500/5800交換機(jī)。
接入交換機(jī)安裝在每個(gè)服務(wù)器機(jī)柜的機(jī)架頂，實(shí)現(xiàn)服務(wù)器網(wǎng)絡(luò)接入，但只開(kāi)啟2層轉(zhuǎn)發(fā)，所有3層網(wǎng)關(guān)設(shè)置在核心層。核心層和接入層均采用了H3C的IRF2技術(shù)，構(gòu)建了天然無(wú)環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，因此沒(méi)有啟用STP (生成樹(shù)協(xié)議)，所有機(jī)架內(nèi)服務(wù)器之間的3層流量需要上行至核心層進(jìn)行交換。
● 所有的部件和線路都采用雙節(jié)點(diǎn)、雙線路的部署方式，保證業(yè)務(wù)的高可靠性。網(wǎng)絡(luò)收斂比約為1:5。
核心層-接入層的連接采用萬(wàn)兆以太網(wǎng)連接，并通過(guò)多鏈路捆綁提供性能擴(kuò)展和高可用保護(hù)。接入層通過(guò)多條千兆連接捆綁的方式，連接服務(wù)器。網(wǎng)絡(luò)管理上區(qū)分為資源管理網(wǎng)、業(yè)務(wù)數(shù)據(jù)網(wǎng)。實(shí)施方案設(shè)計(jì)
方案設(shè)計(jì)整體思路
從更好地融合計(jì)算資源和網(wǎng)絡(luò)資源的角度考慮，本次方案選擇了資源池虛擬化平臺(tái)同平臺(tái)的NSXfor vSphere(以下簡(jiǎn)稱(chēng)NSX)作為SDN的解決方案。方案總體思路是一種將虛擬網(wǎng)絡(luò)從傳統(tǒng)物理網(wǎng)絡(luò)中解放出來(lái)的疊加網(wǎng)絡(luò)解決方案。以VxLAN為基礎(chǔ)，NSX通過(guò)建立虛擬網(wǎng)絡(luò)提供一種抽象的、運(yùn)行在物理和邏輯網(wǎng)絡(luò)之間的虛擬網(wǎng)絡(luò)層。
根據(jù)平臺(tái)不同的角色定義和硬件能力需求，總體上將環(huán)境分為不同的功能域：計(jì)算(Computing)、管理(Management)、邊界(Edge)、橋接(Bridge)、網(wǎng)絡(luò)的邏輯架構(gòu)。
物理網(wǎng)絡(luò)設(shè)計(jì)
網(wǎng)絡(luò)虛擬化的一個(gè)關(guān)鍵目標(biāo)就是提供虛擬到物理網(wǎng)絡(luò)的抽象化，因此物理網(wǎng)絡(luò)必須提供一種健壯的IP傳輸并具有下列特性：
● 簡(jiǎn)易性
● 可擴(kuò)展性
● 容錯(cuò)性
● 服務(wù)質(zhì)量等級(jí)(QoS)保證為了達(dá)到以上幾種特性，且便于網(wǎng)絡(luò)虛擬化后的運(yùn)維便利，我們對(duì)原有的網(wǎng)絡(luò)功能拓?fù)溥M(jìn)行了重新設(shè)計(jì)。
● 核心交換機(jī)仍為管理網(wǎng)段的網(wǎng)關(guān), 在此為各個(gè)管理網(wǎng)段配置網(wǎng)關(guān)IP地址。
● 將原本只是作為純粹L 2 通道交換的接入交換機(jī)改造為架頂式TOR(to p -of-rack)交換設(shè)計(jì)，在此為各V x L A N的V T E P配置網(wǎng)關(guān)地址，并開(kāi)啟3層路由功能。
● TOR 核心路由器為3層路由OSPF(Open ShortestPath First)交換, 資源可平行擴(kuò)展, 能支持大量機(jī)架及TOR建設(shè)。同時(shí)縮小了TOR及核心交換機(jī)管理MAC地址的數(shù)量，縮小了2層網(wǎng)絡(luò)范圍。
● 計(jì)算域(Computing)內(nèi)的VNI建立以每個(gè)業(yè)務(wù)的各種服務(wù)型態(tài)為單位, 如典型業(yè)務(wù)有Web/APP/DB3種服務(wù)型態(tài)，即開(kāi)設(shè)3個(gè)V N I用于該業(yè)務(wù)，便于實(shí)現(xiàn)服務(wù)的“東西向”傳輸效率及提高安全性。
● 邊界域(Edge)部署在VxLAN和VLAN網(wǎng)關(guān)之間，其數(shù)量等于外聯(lián)VLAN的數(shù)量。該設(shè)計(jì)使得每個(gè)Edge虛擬網(wǎng)關(guān)負(fù)載較小，但數(shù)量增加，可以選擇使用戶(hù)集群中的服務(wù)器進(jìn)行負(fù)載均衡，且Edge虛擬網(wǎng)關(guān)與服務(wù)VLAN 1:1對(duì)應(yīng), 有利于問(wèn)題的查找。
● 通過(guò)V x L A N 流量的網(wǎng)絡(luò)設(shè)備，需將M T U 值置為>1600。
整體物理網(wǎng)絡(luò)設(shè)計(jì)架構(gòu)如
虛擬網(wǎng)絡(luò)設(shè)計(jì)
網(wǎng)絡(luò)虛擬化包含3個(gè)主要的方面：解耦合、再組成和自動(dòng)化。所有3方面對(duì)于達(dá)到預(yù)期的效果都是重要的。解耦合，它是使物理網(wǎng)絡(luò)變簡(jiǎn)單與可擴(kuò)展的關(guān)鍵。
當(dāng)建立一個(gè)新的.環(huán)境時(shí)，選擇一個(gè)允許未來(lái)擴(kuò)展的架構(gòu)是必須要考慮的。此類(lèi)部署的指導(dǎo)思路是使用一個(gè)簡(jiǎn)單的集群式架構(gòu)而非通過(guò)VLAN的擴(kuò)展實(shí)現(xiàn)。盡管這是一個(gè)簡(jiǎn)單的需求，但卻對(duì)物理交換架構(gòu)如何建立和擴(kuò)展有深遠(yuǎn)的影響。
我們還是以3種集群的視角來(lái)設(shè)計(jì)討論：計(jì)算集群、邊界集群、管理集群。
● 計(jì)算集群
計(jì)算集群用以為業(yè)務(wù)平臺(tái)提供虛擬計(jì)算資源，計(jì)算集群需要具有如下設(shè)計(jì)屬性：
> 與現(xiàn)有網(wǎng)絡(luò)可交互
> 對(duì)于新部署或重新設(shè)計(jì)
> 對(duì)于虛擬機(jī)接入不需要考慮VLAN劃分
> 對(duì)于計(jì)算集群的網(wǎng)絡(luò)擴(kuò)展不應(yīng)該考慮VLAN方式。
> 提供一種可重復(fù)利用的架構(gòu)設(shè)計(jì)虛擬化后的主機(jī)通常會(huì)發(fā)起3 種的流量：VxLAN流量、管理流量、vSphere vMotion流量。VxL AN可看作網(wǎng)絡(luò)虛擬化后新引入的流量，通過(guò)UDP封裝，用以承載所有虛擬機(jī)通信的流量。
不同的流量類(lèi)型可以被VLAN隔離，從IP地址段的層面加以明確區(qū)分。VLAN在TOR交換機(jī)匯聚，設(shè)定如下:
> VTEP的VLAN提供一個(gè)3層的網(wǎng)絡(luò)端口;
> vMotion的VLAN并不提供任何網(wǎng)關(guān)，不論2或3層都無(wú)法上行出去;
> 管理VLAN上行至另一獨(dú)立的管理接入交換機(jī)以2層連接至核心交換機(jī)。
● 邊界集群
邊界集群作為連接虛擬與物理網(wǎng)絡(luò)之間的橋梁，會(huì)有大量的數(shù)據(jù)交互，其主要功能：
> 提供“進(jìn)站 / 出站”式的物理網(wǎng)絡(luò)連接
> 通過(guò)VLAN與物理網(wǎng)絡(luò)建立連接
> 主機(jī)式集中物理服務(wù)邊界是所有邏輯網(wǎng)絡(luò)的終點(diǎn)，并且在物理和邏輯網(wǎng)絡(luò)間提供3層跳轉(zhuǎn)。設(shè)計(jì)思路的重點(diǎn)是區(qū)分VxLAN(疊加)流量和未封裝(原始)流量。物理上這兩種網(wǎng)絡(luò)流量會(huì)有重疊，可能都匯聚在相同的邊界集群接入交換機(jī)上，需要使用兩個(gè)不同的VLAN加以區(qū)分。
邊界節(jié)點(diǎn)(Edge)可以使用兩種方式提供服務(wù)，根據(jù)實(shí)際情況選擇適合的方案：
1. 內(nèi)部地址僅在Edge內(nèi)部使用，對(duì)外使用NAT的方式進(jìn)行通信。外部VLAN在Edge上聯(lián)口終止。外部網(wǎng)關(guān)設(shè)備無(wú)需額外路由配置。
2. 內(nèi)部地址通過(guò)默認(rèn)路由方式對(duì)外建立連接。網(wǎng)關(guān)使用靜態(tài)路由將需要訪問(wèn)內(nèi)部的流量向Edge傳輸，后者通過(guò)OSPF獲得路由進(jìn)行數(shù)據(jù)包分發(fā)。Edge上聯(lián)口僅需配置點(diǎn)對(duì)點(diǎn)傳輸接口即可。
● 管理集群實(shí)施效果
通過(guò)部署SDN將VxL AN引入云計(jì)算資源池，網(wǎng)絡(luò)能力可以成為一種資源進(jìn)行按需配置，同時(shí)將各租戶(hù)的網(wǎng)絡(luò)配置進(jìn)行隔離，提高了網(wǎng)絡(luò)安全性并簡(jiǎn)化了網(wǎng)絡(luò)配置，很多配置可以由租戶(hù)自行完成，結(jié)合在2014年底部署的分布式塊存儲(chǔ)(SVR-SAN)實(shí)現(xiàn)軟件定義存儲(chǔ)(SDS)，基本消除了網(wǎng)絡(luò)和存儲(chǔ)的供給瓶頸，將資源池變成一個(gè)基礎(chǔ)設(shè)施能力超市。目前已經(jīng)部署“天翼閱讀”等業(yè)務(wù)進(jìn)行商用，基本達(dá)到引入預(yù)期，概括起來(lái)主要體現(xiàn)在4方面。
1.通過(guò)VxLAN 可以自由定義2層網(wǎng)絡(luò)，實(shí)現(xiàn)了可擴(kuò)展的多租戶(hù)網(wǎng)絡(luò)，可以由租戶(hù)自管理和自配置，目前VxLAN技術(shù)已經(jīng)基本成熟，且業(yè)內(nèi)已經(jīng)基本形成產(chǎn)業(yè)標(biāo)準(zhǔn)，對(duì)未來(lái)企業(yè)資源池資源的全面云化、資源自助管理有著深刻的意義。
2.以業(yè)務(wù)平臺(tái)(租戶(hù))為單位實(shí)現(xiàn)路由、負(fù)載均衡、NAT和防火墻功能，是未來(lái)資源池設(shè)計(jì)必須實(shí)現(xiàn)的目標(biāo)，由此達(dá)到網(wǎng)絡(luò)資源池的2次隔離和封裝的目的，用以實(shí)現(xiàn)任何一個(gè)業(yè)務(wù)平臺(tái)的網(wǎng)絡(luò)變更、割接都不會(huì)對(duì)其他業(yè)務(wù)和大網(wǎng)造成影響。
3.分布式路由功能有必要在資源池網(wǎng)絡(luò)虛擬化工作中引入，其可以大大減輕資源池核心交換機(jī)的流量壓力和配置的復(fù)雜性，也為以業(yè)務(wù)為單位的QoS及SLA定義提供了便捷。
4 .資源池多層次的安全控制必須被考慮，包括資源池“東西向”流量安全和“南北向”進(jìn)出流量安全，可以通過(guò)軟、硬結(jié)合的防火墻實(shí)現(xiàn)。
VxLAN作為Overlay網(wǎng)絡(luò)技術(shù)的一種代表，引入云計(jì)算資源池的代價(jià)是相對(duì)較低的，也在一定程度上幫助實(shí)現(xiàn)了網(wǎng)絡(luò)資源的虛擬化。但是，作為一項(xiàng)底層基礎(chǔ)技術(shù)，距離云計(jì)算資源池對(duì)網(wǎng)絡(luò)的終極目標(biāo)還有一段距離。后續(xù)隨著虛擬網(wǎng)絡(luò)組件功能的不斷完善，在實(shí)現(xiàn)網(wǎng)絡(luò)資源創(chuàng)建、更改、釋放更快捷;加速新業(yè)務(wù)開(kāi)發(fā)和網(wǎng)絡(luò)資源控制更精細(xì);控制能力與業(yè)務(wù)的結(jié)合更密切等方面還需要做積極的嘗試。
【關(guān)于浙江電信云資源池引入VxLAN的部署初探論文】相關(guān)文章：
關(guān)于描寫(xiě)云的段落11-29
照明模擬技術(shù)引入室內(nèi)設(shè)計(jì)教學(xué)論文03-07
2017高中語(yǔ)文議論文指導(dǎo)：如何引入論據(jù)05-02
關(guān)于云的詩(shī)句9篇02-07
關(guān)于云的詩(shī)句9篇02-07
關(guān)于云的諺語(yǔ)11篇08-31
有關(guān)于云的經(jīng)典諺語(yǔ)08-20
禁毒部署會(huì)議總結(jié)09-11