Nutanix 實體網路

前言

本文節錄Nutanix Physical Switch最佳實務指南

選擇實體交換機

資料中心的交換機有以下特色

• 網路速率：確保所有端口均可以同時實現其吞吐量。
• 低延遲：最小化端口到端口的延遲，以微秒或納秒為單位。
• 大型每個端口緩衝區：處理來自上行鏈路的速度不匹配而不丟幀、非阻塞，低或沒有過載、減少高峰流量期間掉封包的機率。
• Nutanix CVM流量用10 Gbps或更快網路; 僅使用1 Gbps網路用於其他用戶VM流量。

推薦型號：Cisco Nexus 9300、Cisco Nexus 5000、Arista 7150、Mellanox SN2100、Dell S4810、Juniper QFX-5100

因為高可用的原因，建議Out-of-band 管理交換器與主網路切開

網路設計的需求與建議

最佳化實務檢查列表

單個Nutanix群集必須滿足以下要求：

• 同一叢集中任意兩個Nutanix節點之間最多不超過三個跳。
• 將同一群集中的所有Nutanix節點連接到同一交換結構（leaf-spine網絡）或聚合層。
• 同一Nutanix群集中的Nutanix節點之間不應有WAN或遠程鏈接。
• 將Nutanix CVM和Hypervisor主機分離為不包含任何VM流量的專用VLAN。
• 如果延伸的第2層（L2）網絡跨越多個數據中心或可用區域availability zones，或者兩個位置之間存在遠程鏈接，則不要將Nutanix節點放置在同一個Nutanix叢集中。

  傳統上，數據中心在不同機架之間共享具有L2廣播域的VLAN。現代設計有時會在機架頂部終止此L2邊界，因此每個機架都是一個單獨的L2域和一個不同的IP子網。由於Nutanix叢集中的所有節點必須共享相同的L2廣播域，因此這種方法提出了挑戰。

  此種情形 – 在同一數據中心的兩個機架之間拉伸L2網絡 – 是唯一可以接受使用L3上的拉伸L2網絡的情況，因為Nutanix叢集仍然在相同的交換結構或聚合層中。

  注意：如果延伸的L2網絡跨越多個數據中心或可用區域，或者兩個位置之間存在遠程鏈接，則不要將Nutanix節點放在同一個Nutanix叢集中。
  當您需要在多個站點進行計算和存儲時，請在每個物理位置使用單獨的Nutanix叢集。使用異步災難還原，NearSync和Metro Availability等複制工具在不同站點的Nutanix叢集之間共享數據。即使兩個可用區域共享緊密接近或高可用網絡路徑，這些建議也適用。每個站點都應該是一個集群邊界，以防止網絡，電源或其他故障。根據您的可用性要求，邊界可以是建築物，防火牆，甚至數據中心的不同機架。

• 僅當Nutanix群集保留在同一交換結構或聚合層（例如，在同一數據中心的兩個機架之間延伸的L2網絡）時，才能在第3層（L3）上使用延伸的L2網絡。
• 不要使用塊或機架感知等功能在不同的物理站點之間延生Nutanix群集。通過塊感知和機架感知，可以智能放置Nutanix叢集服務，matadata和VM數據，以幫助維護數據可用性，即使丟失整個塊或機架也是如此。
• 在交換機和交換機間鏈路之間為東西向存儲流量配置足夠的上行鏈路，以最大限度地減少端口到端口的過載(Oversubscripstion)。例如，使用多個40 Gbps上行鏈路（或交換機之間的鏈路）。
• 連接到主機上使用主動-主動的連線，其spanning tree是關閉的

＊將Nutanix主機連接到冗餘機價頂部的交換機。盡可能使用虛擬機監控程序中提供的主動 – 主動配置。使用vSphere，請遵循VMware vSphere網絡最佳實踐，使用基於原始虛擬端口的路由Route based on Originating Virtual Port或基於物理網卡負載的路由Route based on Physical NIC Load。使用AHV，遵循Nutanix AHV網絡最佳實踐，使用默認的主備active-backup或LACP+balance-tcp配置。

＊在連接Nutanix主機的交換機端口上，將端口指定為STP邊緣端口edge ports，以最大限度地減少端口停機時間並防止觸發生成樹拓撲更改。

*STP Edge potrs: 連接到主機的邊緣端口可以是access端口，也可以是trunk端口。邊緣端口接口立即轉換到轉發狀態，而不會移動阻塞或學習狀態。 （此直接轉換先前已配置為思科專有功能PortFast。），連接到主機的接口不應接收STP網橋協議數據單元（BPDU）。

Nutanix建議網路設計

Leaf-Spine

Leaf-spine網絡設計在新的數據中心部署中很流行，因為它易於部署並且在部署後易於擴展。Leaf-spine拓撲需要至少兩個主幹(Spine)交換機和兩個leaf交換機。每個leaf使用上行鏈路端口連接到每個spine。在傳統的leaf-spine設計中，spine交換機之間或leaf交換機之間沒有連接。

使用速度高於邊緣端口的上行鏈路來減少上行鏈路過載。要增加上行鏈路uplink容量，請根據需要添加spine交換機或上行鏈路端口

實際接線與邏輯架構應該如下(下圖參考Mellanox)

MLAG 術語

IPL（Inter Peer Link）：這是兩個交換機之間的鏈路。 IPL鏈路是必需的，用於控制，並可在端口故障時用於流量。該鏈路起到在交換機之間傳輸保持活動的最重要作用，使得每個交換機知道另一個交換機仍然存在。此外，所有mac-sync消息，IGMP組同步和其他DB同步消息都通過此鏈接發送。因此，在此鏈路上啟用流量控制至關重要。即使此鏈路上存在嚴重擁塞，控制流量仍將通過。

MLAG叢集：為主動加入MLAG的兩台交換機，且必須屬於同一個MLAG域。在IPL鏈路丟失或故障的情況下，要能退回預設沒有LAG的模式。

MLAG VIP（虛擬IP）：對於兩台交換機接受與發送對方的資訊非常重要。

注意：IP地址應位於管理接口（mgmt0）的子網內。 管理網絡用於交換機之間的保持keepalive。 mlag域必須是每個mlag域的唯一名稱。如果在同一網絡上有多對MLAG交換機，則每個域（由兩個交換機組成）應配置不同的名稱。

VSID：讓遠程的設備以為是同一台機器(兩台交換機均使用相同的SID)

MLAG接口（下行鏈路）： 舉例來說，有40個MLAG端口 – 每個主機一個端口。主機1連接到mlag-port-channel 1，主機2連接到mlag-port-channel 2。

＊以上是參考Mellanox 、Arista，其他的如Cisco vPC(Virtual Port Channel )也可實作

Core-Aggregation-Access

核心聚合訪問core-aggregation-access（或傳統三層式）設計，允許單獨升級和擴展架構。確保Nutanix群集中的所有節點共享相同的聚合層，以滿足交換機三跳規則。

擴展三層網絡設計可能需要向核心添加另一個聚合和訪問層。在這種情況下，兩個接入層之間將不滿足交換機三跳原則。確保將Nutanix節點添加到單獨的聚合和訪問層中並分離不同叢集，已將同一群集中節點之間的交換機跳數保持為三個或更少。在以下示例中，群集1連接到一個聚合層，群集2連接到另一個聚合層。

Multisite Designs

當存在兩個或多個物理站點或物理可用區域時，單個Nutanix群集不應跨越它們。相反，創建多個Nutanix群集（每個可用區域一個）並使用非同步災難恢復，NearSync和Metro Availability等工具進行連接。此設計為數據和應用程序提供了高可用性，同時還消除了裂腦情況的可能性，其中當兩個站點失去連接時，Nutanix群集被分隔開。

配置

參考KB 2637 Cannot Create Cluster or Add Nodes to Existing Cluster

GARP：「通用屬性註冊通訊協定」(General Attribute Registration Protocol, 簡稱GARP) 由IEEE802.1p標準所制訂，主要提供傳送特定屬性給橋接網路上相關橋接器的服務。以虛擬網路來說，其屬性就是虛擬網路辨識碼。

IGMP Snooping：只能在Active-backup模式中使用，Juniper沒有實作multicast flood prevention 此功能，故要關閉

在AHV上使用balance-slb時，群播流量間歇性的跳失敗，這是因為由於上層交換機的IGMP purning，並且Open vSwitch只接受Active端口上的流量(一個接口)。

Open vSwitch通過僅在Active（一個接口）上接受多播和廣播數據包，並在所有其他Backup端口上丟棄多播和廣播數據包來避免數據包重複。使用IGMP修剪時，組播流量僅從接收IGMP加入的接口上的上游交換機發送。

1. 使用Active-backup模式

2.使用LACP＋balance tcp

此配置不會遇到相同的問題，因為鏈路聚合組將是共享的L2綁定，並且將僅接收任何多播或廣播數據包的單個副本。

3.關閉用於群播流量VLAN的IGMP Snooping

這將導致廣播和多播數據包發送到所有交換機端口。在組播vlan balance-slb上禁用igmp snooping的情況下，負載平衡將在活動從屬服務器上接收IGMP通信。

4. 使用靜態IGMP連接在所有要連接到Nutanix主機的端口上

以下為Cisco Nexus交換機上端口1-4上多播組239.0.0.1的vlan 100的靜態IGMP加入

實體網路建議配置如下圖

LACP配置須參考KB3263 How to Enable, Disable, and Verify LACP

參考

Physical Networking

Mellnox Networking with NUTANIX

How To Configure MLAG on Mellanox Switches

Configurations : Cisco Nexus vPC and Arista MLAG