平台工具 | 工程架构和工具[7]数据中心建设

数据中心网络架构概述

Catalogue
  1. 一、数据中心网络架构
    1. 2.1 传统三层架构（核心 - 汇聚 - 接入）
    2. 2.2 Spine-Leaf 扁平化架构
    3. 2.3 超大规模 Clos 架构（多级 Spine）
  2. 二、中国计算机网络拓扑结构
    1. 2.1 骨干网
    2. 2.2 城域网 (MAN, Metropolitan Area Network)
    3. 2.3 接入网 (Access Network, AN)
  3. 三、互联网企业网络链路
    1. 3.1 核心概念
      1. 3.1.1 物理层
      2. 3.1.2 数据链路层
      3. 3.1.3 网络层

关于企业的云计算选型决策。金融、政务等对数据合规有较高要求的企业，一般采用混合云架构。大型企业也更多的是以私有云为主的混合云架构。 中小型企业更多的是采用公有云，当发展到一定规模或者有特殊需求会考虑自建私有云形成混合云架构。「当前企业云计算选型的主流趋势和核心逻辑」

基于以上云计算选型的逻辑，衍生出企业对数据中心网络建设的不同形式。

那这些不同的云计算选型都有那几类网络架构，以及如何选型呢？
根据企业规模、业务需求和技术演进，主流架构可分为 传统三层架构、扁平化 Spine-Leaf 架构、超大规模云数据中心架构三类
传统三层架构（核心 - 汇聚 - 接入）：从下到上分为接入层、汇聚层、核心层，层级职责清晰。
扁平化 Spine-Leaf 架构：二层全网状拓扑，由 Leaf 层和 Spine 层组成。是目前中大型企业数据中心的主流架构。
超大规模云数据中心架构（Clos 架构演进）：基于 Spine-Leaf 架构的多级扩展，又称 Fat-Tree（胖树）架构。核心层级：服务器 → ToR Leaf → Spine → Super Spine → 跨区域骨干网

一、数据中心网络架构

2.1 传统三层架构（核心 - 汇聚 - 接入）

graph TD
    %% 核心层
    Core1["核心交换机A
100G/400G"]
    Core2["核心交换机B
100G/400G"]

    %% 汇聚层
    Agg1["汇聚交换机A"]
    Agg2["汇聚交换机B"]

    %% 接入层
    Access1["接入交换机A"]
    Access2["接入交换机B"]

    %% 终端层
    Server1["应用服务器"]
    Server2["数据库服务器"]
    Storage["存储设备"]
    Firewall["防火墙"]

    %% 链路连接（简化冗余，优先保证渲染）
    Core1 --> Agg1
    Core2 --> Agg1
    Core1 --> Agg2
    Core2 --> Agg2

    Agg1 --> Access1
    Agg2 --> Access1
    Agg1 --> Access2
    Agg2 --> Access2

    Access1 --> Server1
    Access1 --> Server2
    Access2 --> Storage
    Access2 --> Firewall

    %% 分组标注（兼容低版本渲染器）
    style Core1 fill:#e1f5fe
    style Core2 fill:#e1f5fe
    style Agg1 fill:#f3e5f5
    style Agg2 fill:#f3e5f5
    style Access1 fill:#e8f5e8
    style Access2 fill:#e8f5e8

2.2 Spine-Leaf 扁平化架构

graph TD
    %% Spine层
    Spine1["Spine交换机A
100G/400G"]
    Spine2["Spine交换机B
100G/400G"]

    %% Leaf层
    Leaf1["Leaf交换机1
25G/100G"]
    Leaf2["Leaf交换机2
25G/100G"]
    Leaf3["Leaf交换机3
25G/100G"]

    %% 业务集群
    Cluster1["实时计算集群
Flink/Kafka"]
    Cluster2["数据仓库集群
Hive/Doris"]
    Cluster3["AI训练集群
GPU节点"]
    Security["安全设备
IDS/WAF"]

    %% 全网状互联（核心链路）
    Leaf1 --> Spine1
    Leaf1 --> Spine2
    Leaf2 --> Spine1
    Leaf2 --> Spine2
    Leaf3 --> Spine1
    Leaf3 --> Spine2

    %% Leaf连接业务
    Leaf1 --> Cluster1
    Leaf2 --> Cluster2
    Leaf3 --> Cluster3
    Leaf3 --> Security

    %% 分组着色
    style Spine1 fill:#e1f5fe
    style Spine2 fill:#e1f5fe
    style Leaf1 fill:#f3e5f5
    style Leaf2 fill:#f3e5f5
    style Leaf3 fill:#f3e5f5

2.3 超大规模 Clos 架构（多级 Spine）

graph TD
    %% Super Spine层
    SuperSpine1["Super Spine交换机A
400G/800G"]
    SuperSpine2["Super Spine交换机B
400G/800G"]

    %% Spine层
    SpineGroup1["Spine集群1
机房A"]
    SpineGroup2["Spine集群2
机房B"]

    %% Leaf层
    LeafGroup1["ToR Leaf集群1
机架顶接入"]
    LeafGroup2["ToR Leaf集群2
机架顶接入"]

    %% 业务层
    Tenant1["公有云租户集群
容器/虚拟机"]
    Tenant2["AI大模型训练集群
RDMA网络"]
    Tenant3["跨区域灾备集群
数据同步"]

    %% 多级互联
    SuperSpine1 --> SpineGroup1
    SuperSpine1 --> SpineGroup2
    SuperSpine2 --> SpineGroup1
    SuperSpine2 --> SpineGroup2

    SpineGroup1 --> LeafGroup1
    SpineGroup2 --> LeafGroup2

    LeafGroup1 --> Tenant1
    LeafGroup2 --> Tenant2
    LeafGroup1 --> Tenant3
    LeafGroup2 --> Tenant3

    %% 分组着色
    style SuperSpine1 fill:#e1f5fe
    style SuperSpine2 fill:#e1f5fe
    style SpineGroup1 fill:#f3e5f5
    style SpineGroup2 fill:#f3e5f5
    style LeafGroup1 fill:#e8f5e8
    style LeafGroup2 fill:#e8f5e8

二、中国计算机网络拓扑结构

https://tenfy.cn/posts/china-topology-of-networks/

主要是分层汇接方式。 纵向分为骨干网、城域网、接入网三个层级.

2.1 骨干网

骨干网（Backbone Network） 是互联网或电信网络的核心传输枢纽，是跨区域、跨城市甚至跨国的高速数据通道，相当于网络世界的 “国家级高速公路网”。

骨干网是最顶层的省际高速网络，基础电信运营商在各省会及主要城市设置骨干节点，并在节点间设置直联路，共同构成骨干网。
骨干网内分了核心节点和接入节点。基础电信运营商的公众互联网网间主要通过设置在北京、上海、广州等13个城市的骨干直联点，以及设置在北京、上海、广州的交互中心实现互联。

一般企业的网络架构会走骨干网吗？用户终端的流量是如何到数据中心的？
本地小微企业（同城单数据中心）基本不走。 中大型企业（跨城市 / 跨省业务）一定会走。公有云 / 混合云的链路可能会走。 「骨干网的主要作用是 跨区域互联」

流量路径：用户终端 → 接入网 → 城域网 → 企业数据中心

  1. 接入网：终端（PC / 手机）通过无线 AP / 光纤 / 网线连接到企业接入交换机，完成物理层（L1） 和数据链路层（L2） 的连接（如 DHCP 获取 IP、VLAN 隔离）。
  2. 城域网（城市级汇聚）：接入交换机将流量转发到城域网汇聚交换机，再经城域网核心路由器做网络层（L3） 路由转发；城域网内可部署L4/L7 负载均衡，对本地数据中心的流量做初步分发（如基于端口的 L4 分流、基于 URL 的 L7 路由）。
  3. 企业数据中心：流量经数据中心公网接口进入，通过L4 层负载均衡器（基于 IP + 端口）分发到服务器集群，或通过L7 层负载均衡器（基于 HTTP 头部 / 域名）做智能路由；
    最终到达数据中心内的服务器 / 存储 / 数据库。
  4. 如果是跨区域链路。在城域网之前会经过骨干网：（入口节点一般由运营商部署）通过骨干路由器 + DWDM 传输设备，以超大带宽、低延迟将流量从A城传输到B城。

2.2 城域网 (MAN, Metropolitan Area Network)

城域网是覆盖一个城市或都市圈范围的高速数据网络，介于局域网 (LAN) 和广域网 (WAN) 之间，地理覆盖范围通常为几公里到几十公里 ，主要用于连接同一城市内的多个局域网、企业园区、数据中心和用户群体，实现城市范围内的高速数据传输和资源共享。

2.3 接入网 (Access Network, AN)

接入网是用户终端到运营商网络的 “最后一公里” 连接，位于网络边缘，负责将单个用户或小型用户群连接到城域网或骨干网，解决用户接入的物理链路和协议转换问题。 国际电信联盟 (ITU-T) 定义：接入网是用户网络接口 (UNI) 和业务节点接口 (SNI) 之间的一系列传送实体 (如线路设施和传输设备)。

三、互联网企业网络链路

3.1 核心概念

3.1.1 物理层

作为通信的基础硬件层。核心作用是：在物理介质上实现相邻网络节点之间的比特流透明传输。
并定义物理介质、接口、信号等硬件相关的标准。

「数据和信号」
通信的目的是传输信息，如文字、图像和视频等。
数据是指传送信息的实体。 信号则是 数据的电气或电磁表现，是数据在传输过程中的而存在形式。
数据和信号都有 模拟和数字之分。 模拟数据的取值是连续的；数字数据的取值是离散的。

「数字和模拟」
数据无论是数字的还是模拟的，为了传输的目的，都要转换成 信号。 转化为信号的过程称作 编码和调制。

模拟数据编码为数字信号，主要包括 三个步骤，即采样、量化和编码，常用于对音频信号进行编码的PCM 编码。

「带宽」
表示网络的通信线路所能传输数据的能力，单位是 b/s

「传输介质」

3.1.2 数据链路层

主要作用是 实现帧在一段链路上或一个网络中进行传输。 基本的问题：封装成帧、 透明传输、差错检测。

两种信道：点对点信道、广播信道。

物理链路与逻辑链路： 物理链路是 实际的物理层到链路层再到网络层整个真实的链路； 而逻辑链路是 仅看数据链路层，由一条路径组成的链路。也叫数据链路。

「帧」对等实体之间进行逻辑通信的协议数据单元。

「为网络层提供的服务」

  • 无确认的无连接服务
  • 有确认的无连接服务
  • 有确认的面向连接服务

「链路管理」主要针对 面向连接的服务。
计时器超时重发，是解决传输过程中帧的丢失的方法。

数据链路层有一个核心参数叫 MTU（最大传输单元），它规定了帧的数据部分的最大长度。

3.1.3 网络层

「异构网络互连」
网络互连是指将两个以上的计算机网络，通过一定的方法，用一些中继系统相互连接 起来，以构成更大的网络系统。

根据所在的层次，中继系统分为以下4 种:
1)物理层中继 系统:转发器，集线器。
2)数据链路层中继系统:网桥或交换机。
3 )网络层中继 系统:路由器。
4)网络层以上的中继系统 :网关。

网络的异构性是指传输介质、数据编码方式、链路控制协议及不同的数据单元格式和转发机 制，这些特点分别在物理层和数据链路层协议中定义。

「传输层」

「应用层」