某央企公司数据中心CLOS架构分享

某央企公司数据中心机房搭建项目业务网络的设计，采取了25G-100G的组网，接入使用25G、Leaf和核心层使用100G链路连接，相比40G-10G组网，提供了2.5倍的网络能力，网络能力可满足当前中高端服务器、存储对网络的需求。

      CLOS架构组网，POD内东西向流量的高性能负载分担链路，保证了现代数据中心内部的需求，同时CLOS架构提供横向弹性可扩展的能力，按需部署、平滑扩容，已经达到了互联网大型数据中心的组网标准，当前的网络设计配合EVPN和RDMA技术的应用，构建了一个支持虚拟化的高性能数据中心。

      1、高性能：东西向高带宽和吞吐性能，所有包长的流量线速转发，超低时延网络

      2、标准化：参照IETF标准推荐的设计方案，科学，开放

      3、经济高效：盒式设备组网，减少单次投资；低功耗，统一智能管理，高效运维，低维护费用

      4、技术先进：基于以太网的RDMA技术（RoCE）加速和提升存储、GPU业务性能

      5、灵活性：按需部署，横向扩展，根据业务节点需求提供差异化的连接方式

      6、高可靠性：通过路由负载分担，所有流量提供跨设备的高可靠性

      7、虚拟化：EVPN组网，支持虚拟化业务应用和部署，对于VM/容器迁移提供完美支持

      8、通用性：通用的网络设备需求，更多的提供商可供选择，不受框式设备绑定。

      数据中心机房下属模块机房包含：CPU集群、GPU集群、存储集群等，核心业务的生产网以及办公网络设备选用了Mellanox3700做为核心交换、2700做为Leaf交换机、2410做TOR接入设备。

模块说明

      网络设备选型方面优先考虑业务层面端传输的高带宽及低延时需求（下联单节点25G传输，交换机间100G传输、与安全设备之间40G带宽交叉上联）充分保障了网络上下层的传输性能以及东西向流量的带宽需求，本套方案内的交换机系统均为Mellanox的开放式Cumulus系统，项目配置阶段使用了最新的Unnumbered BGP 协议精简了设备之间的配置难度，同时网络系统延用LINUX控制命令行，方便后期网络管理员的使用维护。

VXLAN技术

      EVPN-VXLAN 使企业能够使用第 2 层虚拟桥接连接地理位置分散的位置。EVPN-VXLAN 提供了云服务提供商所需的规模，通常是数据中心互连的首选技术。

      EVPN 作为叠加层，支持多租户且高度可扩展，通常使用来自不同数据中心的资源来提供单一服务。它可以通过物理基础设施为虚拟网络中的设备提供第 2 层连接或启用第 3 层路由。

      由于它作为覆盖网络的 MAC 地址学习控制平面，EVPN 可以支持不同的数据平面封装技术。这种灵活性对于并非严格基于 MPLS 的网络结构特别有吸引力。

      VXLAN 将第 2 层以太网帧封装在第 3 层 UDP 数据包中，这意味着虚拟第 2 层子网可以跨越底层第 3 层网络。类似于传统的 VLAN ID，VXLAN 网络标识符 (VNI) 用于对每个第 2 层子网进行分段。

      VXLAN 隧道端点 (VTEP) 是支持 VXLAN 的设备，用于封装和解封装数据包。在物理网络中，交换机通常充当第 2 层或第 3 层 VXLAN 网关，被视为硬件 VTEP。虚拟网络等效项称为软件 VTEP，它们托管在 VMware ESXi 或 vSphere 等虚拟机管理程序中。

RoCE

      RDMA over Converged Ethernet (RoCE) 是一种网络协议，它利用远程直接内存访问 (RDMA) 功能显着加速托管在服务器集群和存储阵列上的应用程序之间的通信。RoCE 结合了 IBTA RDMA 语义，允许设备在应用程序级别执行直接内存到内存的传输，而无需涉及主机 CPU。与基于软件的协议相比，传输处理和内存转换和放置均由硬件执行，从而显着降低延迟、提高吞吐量和更好的性能。