SD-WAN 架构与技术（华为官方出品，从关键技术到成熟实践，深度解析软件定义广域网的设计与部署）
Author: 盛成主编; 白杰; 孙奇副主编
Date: 2019-12-02T00:00:00+00:00
Publisher: 广域网一架构

国之重器出版工程

网络强国建设

新一代信息技术·华为数据通信系列

SD-WAN架构与技术

盛　成　主　编

白　杰　孙　奇　副主编

人 民 邮 电 出 版 社

北 京

图书在版编目（CIP）数据

SD-WAN架构与技术/盛成主编. -北京:人民邮电出版社，2019.12

国之重器出版工程.新一代信息技术.华为数据通信系列

ISBN 978-7-115-53092-9

Ⅰ.①S… Ⅱ. ①盛… Ⅲ．①广域网一架构 Ⅳ. ①TP393.2

中国版本图书馆CIP数据核字(2019)第276311号

主　　编　盛　成

副 主 编　白　杰　孙　奇

责任编辑　韦　毅

责任印制　李　东　杨林杰

人民邮电出版社出版发行　北京市丰台区成寿寺路11号

邮编 100164　　电子邮件 315@ptpress.com.cn 网址 https://www.ptpress.com.cn 固安县铭成印刷有限公司印刷

开本：720×1000　　1/16

印张：23.5　　　2019年12月第1版

字数：435千字　 2019年12月河北第1次印刷

定价：99.00元

读者服务热线：(010) 81055552 印装质量热线：( 010) 81055316

反盗版热线：(010) 81055315

目录

封面

扉页

版权信息

目录

内 容 提 要

《国之重器出版工程》编辑委员会

新一代信息技术·华为数据通信系列

推荐语

推荐序一

推荐序二

前 言

第1章 WAN有引力

1.1 企业WAN的演进趋势

1.2 企业WAN当前面临的挑战

第2章 SD-WAN应运而生

2.1 当WAN邂逅SDN

2.1.1 SDN是何方神圣

2.1.2 SD-WAN恰逢其时

2.2 SD-WAN内涵的解读

2.2.1 SD-WAN的基本特征

2.2.2 SD-WAN的核心价值

第3章 谋定后动话方案

3.1 SD-WAN的总体方案

3.1.1 SD-WAN的逻辑架构

3.1.2 关键交互接口与协议

3.1.3 关键业务流程

3.2 SD-WAN的商业模式

3.2.1 商业角色的定义

3.2.2 运营商/MSP转售模式

3.2.3 企业自建模式

3.3 SD-WAN解决方案全景

第4章 九层之台起于站点

4.1 站点类型

4.2 CPE是站点“代言人”

4.2.1 CPE的形态

4.2.2 CPE连接站点内外

4.2.3 CPE互联构建双网关

4.3 CPE的关键能力

4.4 CPE即插即用

4.4.1 招式分解

4.4.2 开局实践

第5章 站点互联若比邻

5.1 SD-WAN组网概览

5.1.1 组网场景分析

5.1.2 组网设计原则

5.2 Overlay网络设计

5.2.1 组网拓扑的多样性

5.2.2 SD-WAN网络模型

5.2.3 VPN的设计

5.2.4 隧道设计

5.2.5 路由设计

5.3 网络可靠性设计

5.3.1 网络链路可靠性设计

5.3.2 网络设备可靠性设计

5.3.3 网络核心站点可靠性设计

5.4 网络编排与自动化

5.4.1 网络编排原理

5.4.2 隧道编排

5.4.3 拓扑编排

5.5 访问因特网

5.5.1 本地上网

5.5.2 集中上网

5.5.3 混合上网

5.6 广域NAT穿越

5.6.1 NAT映射和过滤

5.6.2 NAT探测和打洞

5.7 与传统站点互通

5.7.1 通过站点互通

5.7.2 通过IWG互通

5.8 POP组网方案

5.8.1 方案背景

5.8.2 方案设计

5.8.3 方案优势

5.9 连接公有云

5.9.1 公有云概述

5.9.2 云网融合场景

5.9.3 连接公有云方案

5.9.4 混合云方案

第6章 应用体验有保障

6.1 保障方案介绍

6.2 应用识别

6.2.1 应用分类

6.2.2 首包识别

6.2.3 特征识别

6.3 应用选路

6.3.1 选路场景

6.3.2 质量检测

6.3.3 选路策略

6.3.4 配置实践

6.4 QoS方案

6.4.1 整体方案

6.4.2 站点到站点限速

6.4.3 站点到运营商GW限速

6.5 广域优化

6.5.1 通常采用的方案

6.5.2 抗丢包优化

6.5.3 传输优化

6.5.4 第三方广域优化

6.6 面向意图的应用体验优化

6.6.1 体验优化方案

6.6.2 集中配置子方案

6.6.3 融合调度子方案

第7章 安全乃重中之重

7.1 安全新挑战

7.2 系统安全

7.2.1 组件自身安全

7.2.2 组件间通信安全

7.3 业务安全

7.3.1 站点间互访

7.3.2 站点访问因特网

7.3.3 站点入云

第8章 轻松运维无难事

8.1 运维方式的变革

8.2 运维架构

8.3 运维权限控制

8.3.1 运维模式与管理角色

8.3.2 角色决定权限

8.4 全网监控能力

8.4.1 Dashboard视图

8.4.2 全网监控

8.4.3 质量预测

8.5 故障定位助手

8.5.1 诊断工具

8.5.2 设备维护

8.5.3 日志管理

8.5.4 智能排障

8.6 传统网络向SD-WAN迁移

8.6.1 总部与数据中心站点迁移

8.6.2 分支站点迁移

第9章 SD-WAN成熟实践

9.1 SD-WAN应用场景

9.2 SD-WAN典型案例

9.2.1 金融行业案例

9.2.2 大企业案例

9.2.3 运营商案例

9.2.4 MSP案例

第10章 SD-WAN相关组件

10.1 NetEngine AR系列路由器

10.1.1 基本介绍

10.1.2 应用场景

10.1.3 功能特性

10.2 iMaster NCE-WAN网络控制器

10.2.1 基本介绍

10.2.2 技术亮点

10.2.3 功能特性

第11章 SD-WAN未来展望

11.1 技术演进趋势

11.1.1 5G

11.1.2 SRv6

11.1.3 AI

11.2 产业新变化

11.3 回顾与展望

缩略语

参考文献

内 容 提 要

本书从企业WAN当前面临的问题和挑战入手，介绍了SD-WAN的产生背景和基本特性，并结合技术实现，详细阐述了SD-WAN解决方案的系统架构、运转机制和应用场景。本书通过解读SD-WAN的关键技术，并分析SD-WAN的实际部署案例，为读者提供了SD-WAN解决方案的设计方法和部署建议。

本书内容通俗易懂，针对性和实用性强，能够帮助读者了解SD-WAN解决方案的实现原理，掌握SD-WAN解决方案的设计原则。本书可作为网络技术支持工程师、网络管理员、网络规划工程师等ICT从业人员的理论学习用书，也可以作为网络技术爱好者的参考资料。

《国之重器出版工程》编辑委员会

编辑委员会主任:苗　圩

编辑委员会副主任:刘利华　辛国斌

编辑委员会委员:

冯长辉　梁志峰　高东升　姜子琨　许科敏

陈　因　郑立新　马向晖　高云虎　金　鑫

李　巍　高延敏　何　琼　刁石京　谢少锋

闻　库　韩　夏　赵志国　谢远生　赵永红

韩占武　刘　多　尹丽波　赵　波　卢　山

徐惠彬　赵长禄　周　玉　姚　郁　张　炜

聂　宏　付梦印　季仲华

专家委员会委员(按姓氏笔画排列): 于　全　中国工程院院士

王　越　中国科学院院士、中国工程院院士

王少萍　“长江学者奖励计划”特聘教授

王建民　清华大学软件学院院长

王哲荣　中国工程院院士

尤肖虎　“长江学者奖励计划”特聘教授

邓宗全　中国工程院院士

甘晓华　中国工程院院士

叶培建　中国科学院院士

朱英富　中国工程院院士

朵英贤　中国工程院院士

邬贺铨　中国工程院院士

刘大响　中国工程院院士

刘怡昕　中国工程院院士

刘韵洁　中国工程院院士

孙逢春　中国工程院院士

苏彦庆　“长江学者奖励计划” 特聘教授

苏哲子　中国工程院院士

李伯虎　中国工程院院士

李应红　中国科学院院士

李新亚　国家制造强国建设战略咨询委员会委员、中国机械工业联合会副会长

杨德森　中国工程院院士

张宏科　北京交通大学下一代互联网互联设备国家工程实验室主任

陆建勋　中国工程院院士

陆燕荪　国家制造强国建设战略咨询委员会委员、原机械工业部副部长

陈一坚　中国工程院院士

陈懋章　中国工程院 院士

金东寒　中国工程院院士

周立伟　中国工程院院士

郑纬民　中国计算机学会原理事长

郑建华　中国科学院院士

屈贤明　国家制造强国建设战略咨询委员会委员、工业和信息化部智能制造专家咨询委员会副主任

项昌乐　“长江学者奖励计划” 特聘教授，中国科协书记处书记，北京理工大学党委副书记、副校长

柳百成　中国工程院院士

闻雪友　中国工程院院士

徐德民　中国工程院院士

唐长红　中国工程院院士

黄维中　国科学院院士、西北工业大学常务副校长

黄卫东　“长江学者奖励计划” 特聘教授

黄先祥　中国工程院院士

董景辰　工业和信息化部智能制造专家咨询委员会委员

焦宗夏　“长江学者奖励计划” 特聘教授

新一代信息技术·华为数据通信系列

专家指导委员会

主　任

张尧学　中国工程院院士

副主任

陈　钟　北京大学教授、博士生导师

马殿富　北京航空航天大学教授、博士生导师

技术指导委员会

主　任

胡克文　华为数据通信产品线总裁

副主任

钟开生　华为企业BG Marketing与解决方案销售部副总裁

委　员

刘少伟　华为数据通信研发管 理部部长

赵志鹏　华为数据通信产品线园区网络领域总裁

顾雄飞　华为数据通信产品线广域网络领域总裁

王　雷　华为数据通信产品线数据中心网络领域总裁

邵明嵩　华为数据通信产品线交换机与企业网关产品部部长

解明震　华为数据通信数字化信息和内容体验部部长

王建兵　华为数据通信架构与设计部部长

推荐语

该丛书由华为公司的一线工程师编写，从行业趋势、原理和实战案例等多角度介绍了与数据通信相关的网络架构和技术，同时对虚拟化、大数据、软件定义网络等新技术给予了充分关注。该丛书可以作为网络与数据通信领域教学及科研的参考书。

——中国工程院院士，东南大学未来网络研究中心主任 李幼平

当前，国家大力加强网络强国建设，数据通信就是这一建设的基石。这套丛书的问世对进一步构建完善的网络技术生态体系具有重要意义。

——中国信息通信研究院云计算与大数据研究所所长 何宝宏

该丛书以网络工程师的视角，呈现了各类数据通信网络设计部署的难点和未来面临的业务挑战，实践与理论相结合，包含丰富的第一手行业数据和实践经验，适用于网络工程部署、高校教学和科研等多个领域，在产学研用结合方面有着独特优势，填补了业界空白。

——东北大学教授、研究生院常务副院长，国家杰出青年科学基金获得者王兴伟

该丛书对华为公司近年来在数据通信领域的丰富经验进行了总结，内容实用，可以作为数据通信领域图书的重要补充，也可以作为信息通信领域，尤其是计算机通信网络、无线通信网络等领域的教学参考。这套丛书既有扎实的技术性，又有很强的实践性，它的出版有助于加快推动产学研用一体化发展，有助于培养信息通信技术方面的人才。

——清华大学教授、计算机系副主任，国家杰出青年科学基金获得者 徐恪

该丛书汇聚了作者团队多年的从业经验，以及对技术趋势、行业发展的深刻理解。无论是作为企业建设网络的参考，还是用于自身学习，这都是一套不可多得的好书。

——北京理工大学教授，电动车辆国家工程实验室主任 王震坡

这是传统网络工程师在云时代的教科书，了解数据通信网络的现在和未来也是网络人的一堂必修课。如果不了解这些内容，迎接我们的可能就只有被淘汰或者转行，感谢华为为这个行业所做的知识整理工作！

——平安科技平安云网络产品部总监 丘子隽

该丛书将园区办公网络、数据中心网络和广域互联网的网络架构与技术讲解得十分透彻，内容通俗易懂，对金融行业的IT主管和工作人员来说，是一套极佳的学习和实践指导图书。

——兴业银行信息科技部数据中心主任 郑倚志

推荐序一

初识华为，要从二十多年前的一件小事说起。那时候我刚入职中国电信，华为的MA5200也刚发布，正于上海的城域网中试用。后来联调过程中出现了问题，思科、华为的工程师和我一起赶到现场通宵诊断，最终确定是以太网后退时延赋值不正确以及缓存过小所致。原以为项目会因此延期，没想到仅过了一天，华为工程师就拿出了新版本，使得联调顺利通过。这样的效率和实力让我又惊讶又钦佩。我想，这也正是华为公司快速发展、成为业界翘楚的重要原因吧。

感谢华为数据通信产品线广域网络领域总裁顾雄飞先生邀请我为《SDWAN架构与技术》一书作序，让我能有机会和同行们分享对SD-WAN的个人见解，抛砖引玉。在我看来，就像二十多年前的以太网，SD-WAN是生长在互联网沃土上的野雏菊，虽然在技术上未见得有革命性的突破，却能野蛮生长，最终在数据通信市场上傲然绽放。为什么这么说呢？

首先，SD-WAN的扁平化架构使其组网更为便捷、经济，可管理性也更强。与传统的组网方式相比，SD-WAN因其具有统一管理、细分策略、集约部署、安全增值和终端现场零配置等优点，逐步被市场所接受，尤其在连锁业中率先得到运用。企业既可自主组网，也可由SD-WAN运营商提供服务。近两年来，金融业、制造业中的很多企业，包括跨国企业，对SD-WAN的接受度也越来越高。

其次，SD-WAN为数据通信行业的繁荣创造了一片新天地。众所周知，传统通信运营网络都比较“重”，投资大、回收期长，业务变革也严重依赖设备制造商，中小企业想要从事通信运营，心有余而力不足。现如今，以云基础设施为底座，只需几个月时间和少量的花费，任何一家数据通信企业都能构建起覆盖全国的SD-WAN，对外提供组网等服务，于是一大批与SD-WAN产品研发、运营相关的企业如雨后春笋般应运而生。各大云商也纷纷推出了以SD-WAN技术为重要支撑的虚拟网络平台，如华为的iMaster NCE（Network Cloud Engine，网络云化引擎）、阿里巴巴的洛神和腾讯的云联网，这些平台既可作为自身云网融合的管道，又可对外提供通信服务，可谓一举两得。

互联网行业蓬勃发展，SD-WAN运营商异军突起，组网业务“五马分肥”。在这样的大背景下，全球的通信运营商受到了巨大的冲击，唯有转型才能浴火重生。近年来，国内三大通信运营商先后发布了云战略，陆续开发了多款智能连接产品，其中就包括SD-WAN。通信运营商具有熟悉客户需求、接入网资源丰富、骨干网品质可靠、服务体系健全等先天优势，因而必将成为提供SD-WAN服务的主力军，比如中国电信的SD-WAN已对接亚马逊的AWS Direct Connect和万国数据的Xelerator，为云计算厂商提供服务。

面临同样挑战的还有通信设备制造商。坦率地讲，前几年大部分通信设备制造商并不太关注SD-WAN这朵通信市场中的小花，但华为却敏锐地洞察了这一技术的前景，较早开展了SD-WAN的研发。在2018华为全联接大会上，华为向业界同行展示了相关产品、网络和服务成果。近两年来，华为更是集中了一大批研发人员来支持通信运营商开展SD-WAN产品研发，在实现SD-WAN全国组网的基础上，开发入云网关和融合网管，实现了真正意义上的云网融合。

SD-WAN前景广阔，百家争鸣。但同时，缺乏统一标准也成为制约SDWAN发展的障碍。不过，从混沌到有序是任何一种新技术都必然要经历的过程。据我了解，通信行业的相关管理部门也正着手制定针对SD-WAN运营的规范性文件，这会为SD-WAN业务的健康发展提供重要保障。

关于SD-WAN的文章已有不少，见仁见智，但系统地介绍SD-WAN的起源、工作原理、关键技术、增值服务、应用场景和发展前景的专业图书并不多见。《SDWAN架构与技术》出自华为广域网络的“硬核”研发之手，干货满满，特推荐给同行们认真一读。

中国电信上海公司信息网络部党委书记、总经理 张 慷

推荐序二

看到华为编写的图书《SD-WAN架构与技术》即将出版，我深有感触，不由得想起了这几年在SD-WAN领域与华为合作的经历。

从概念到落地，SD-WAN的发展一直受到业内的关注。在早年概念期，作为新生事物的SD-WAN一直处于不温不火的状态。归其原因大概有两点：一是玩家众多，产业没有形成事实标准，SD-WAN技术不成熟且不稳定、引入费用高昂，客户仍在观望中，若贸然引入SD-WAN，将是对客户极其不负责任的作为；二是SD-WAN相关的产业环境还不够成熟，对它的需求还不够迫切。

直到云、大数据、人工智能等技术集中爆发和逐步落地后，推出SD-WAN解决方案的迫切性才逐渐凸显。SD-WAN是云时代的必然产物，是企业应用在多云、多分支的不同混合链路之间的平衡与优化，是提高企业广域网的可靠性、灵活性和运维效率的必然结果。

中企通信作为中信集团旗下专注于ICT（Information and Communication Technology，信息通信技术）业务的板块，长期服务于全球化企业，为客户提供广泛的网络覆盖和综合的ICT解决方案，打造高品质的数字化体验。截至2019年，我们已经在全国重点城市部署了近90个节点，合作伙伴遍布全球，覆盖了140多个节点，遍及130多个国家和地区，其中包含“一带一路”沿线国家和地区。

伴随着SD-WAN逐渐进入成熟期，我们先于2018年推出了SD-WAN产品（CeOne-CONNECT Hybrid混合广域网服务），并于同年12月拿到了中国跨境数据通信产业联盟“SD-WAN服务标准起草单位”的聘书，承担了相关标准的起草工作。而市场上也渐渐响起钟声，大量企业开始在其分支机构中部署 SD-WAN，很多国际客户与行业伙伴与我们携手，积极探讨SD-WAN的技术能力及整体服务如何在中国落地。

巧合的是，在2018华为全联接大会上，我们第一次看到华为一下子推出了16款新一代SD-WAN路由器，其中包含新一代NetEngine AR6000 SD-WAN路由器，而且还看到了首次面向企业客户发布的SD-WAN云服务。通过这些产品和解决方案，我们感受到了华为对SD-WAN的重视程度，这也为双方的合作奠定了良好的基础。

随后在2019年年初，我们和华为的SD-WAN产品团队开始密切接触，双方在提出各自的诉求后，可谓“一拍即合”，非常默契地达成了共识。2019年8月，我与华为数据通信产品线广域网络领域总裁顾雄飞先生带着双方团队举办了合作仪式。至此，我们正式成为华为SD-WAN解决方案领先级合作伙伴。

作为领先级合作伙伴，我们不只是简单的“转售”，而是与华为有更深层次的合作。双方一起制定了详细的合作工作细则，包括技术与服务创新、项目需求、商务谈判、平台建设和售后运维等几个维度。开展各项合作时，双方均有专门的服务小组负责对接。

我们特别看重华为在SD-WAN领域的技术优势、方案落地能力和售后运维能力，尤其是华为在技术层面形成的方法论，能在不断跟踪、发展SD-WAN这项新技术的同时，将其落地形成可销售的方案。此外，华为还可以提供多场景、端到端的混合网络连接，具备平台到技术的全周期运营服务保障。同时，我们也积极为华为提供自身的价值，包括服务全球化客户的经验能力与资源部署，针对SD-WAN需求的落地实力，以及在交付服务、管理、运维等方面的高品质保障。

通过此次携手，我们与华为决定要联合打造全新的科技服务技术与生态体系，为客户提供增值服务。在实际的合作过程中，华为也言出必行。例如，有一次我们在北京的客户临时提出要在第二天上午9点对接研发人员。当天晚上，华为的工程师就乘坐高铁抵达北京。面对我们的需求，华为可以做到7×24小时的全天候配合和支持，这使得双方能更紧密地合作，同心为客户服务。

当前，双方的合作已过了磨合期，正步入共同进步的阶段。从产品到平台，我们拥有了业内数一数二的SD-WAN解决方案实施及售后的能力，可以有效地满足云时代客户的网络需求。依据客户的反馈，华为一直在改进产品和解决方案。

双方合作的SD-WAN解决方案已经在制造、零售、保险等多个行业成功落地。我们信心倍增，正更加全面地与华为展开合作。比如，我们的创新研究部门正和华为的SD-WAN产品团队共同开发大数据分析、人工智能和AR（Augmented Reality，增强现实）等相关技术。在新技术的发展上，我们既有基于大数据分析的SD-WAN创新，也有基于增强现实的SD-WAN创新，这些都离不开华为SD-WAN产品团队的支持。

放眼未来，云、人工智能、物联网和5G等技术正在大规模落地，全球化趋势不可逆转。SD-WAN的应用前景是一片无垠的蓝海。相信双方之间的合作会更为广阔、美好，也非常推荐大家阅读这本《SD-WAN架构与技术》，共同切磋、探讨，并展望SD-WAN的未来。

中信国际电讯CPC产品部副总裁 蓝泰来

前 言

本书以企业WAN（Wide Area Network，广域网）当前所面临的业务挑战为切入点，介绍了SD-WAN（Software Defined Wide Area Network，软件定义广域网）的产生背景和基本特征，并系统地讲解了SD-WAN解决方案的系统架构、技术实现和规划设计等内容，给出了SD-WAN解决方案的设计原则和部署建议。对于网络工程师等ICT从业人员，本书可作为网络架构、规划设计、网络部署等方面的指南；对于广大网络技术爱好者及在校学生，本书也可作为学习和了解网络新技术的参考书。

本书共包含11章，每章内容的概要如下。

第1章 WAN有引力

本章以WAN为出发点，首先回顾WAN的基本概念，然后介绍企业WAN的发展历程以及当前企业WAN所面临的问题和挑战。

第2章 SD-WAN应运而生

本章通过SDN（Software Defined Network，软件定义网络）与WAN的结合来引出SD-WAN，介绍SD-WAN的产生背景和基本概念，然后对SD-WAN进行深入的剖析，介绍SD-WAN的基本特征和核心价值。

第3章 谋定后动话方案

本章对SD-WAN的系统架构、基本组件、运转机制以及解决方案全景进行详细的介绍，帮助读者在部署SD-WAN解决方案之前做到胸有成竹。

第4章 九层之台起于站点

本章介绍站点的相关内容，包括站点的定义和分类、站点“代言人”CPE（Customer Premise Equipment，客户终端设备）的形态和作用，以及CPE应具备的关键能力，此外还介绍CPE零接触配置（零配置开局）的内容，通过邮件开局、注册中心开局、U盘开局和DHCP（Dynamic Host Configuration Protocol，动态主机配置协议）开局等方式实现CPE即插即用。

第5章 站点互联若比邻

本章详细介绍如何通过SD-WAN组网实现站点间的互联互通。首先讲解SD-WAN组网的设计原则，然后介绍Overlay网络设计、网络可靠性和网络编排与自动化等内容。另外，本章还介绍SD-WAN中企业访问因特网、NAT（Network Address Translation，网络地址转换）穿越、与传统站点互通、POP（Point of Presence，接入点）组网以及连接公有云等业务需求的实现方式。

第6章 应用体验有保障

本章介绍SD-WAN解决方案中的应用体验保障措施，首先讲解保证应用体验的前提技术——应用识别技术，然后介绍应用选路、QoS（Quality of Service，服务质量）、多种广域优化技术，以及如何综合运用这些技术实现企业应用的快速、稳定运行。

第7章 安全乃重中之重

本章首先介绍SD-WAN中存在的安全风险，然后从系统安全和业务安全两个层面，详细介绍SD-WAN解决方案应具备的安全防护措施。

第8章 轻松运维无难事

本章介绍SD-WAN在运维方面的特点，以及SD-WAN基于网络控制器这个智慧大脑的运维架构如何帮助客户实现轻松运维。本章的主要内容包括SDWAN的运维模式与管理角色、全网监控能力、故障定位、设备日常维护、日志管理以及智能运维等。另外，本章还简要介绍将传统站点改造为SD-WAN站点的方案设计和操作原则。

第9章 SD-WAN成熟实践

本章首先介绍SD-WAN解决方案的应用场景分类，然后选取金融、运营商和MSP（Managed Service Provider，管理服务提供商）等方面典型的应用场景，介绍SD-WAN在这些不同应用场景中的实践案例，供读者参考。

第10章 SD-WAN相关组件

华为SD-WAN解决方案的组件包含NetEngine AR系列路由器和iMaster NCE-WAN网络控制器，本章详细介绍这两个组件的应用场景、产品架构和主要功能特性。

第11章 SD-WAN未来展望

本章从技术发展的新趋势和产业格局的变化两个方面，介绍5G、SRv6（Segment Routing IPv6，IPv6段路由）、AI（Artificial Intelligence，人工智能）等新技术对SD-WAN的影响，同时展望SD-WAN的未来。

致谢

本书由华为技术有限公司“数据通信数字化信息和内容体验部”及“交换机与企业网关设计部”联合编写。在写作期间，华为数据通信产品线的领导给予了指导、支持和鼓励，在此诚挚地表示感谢！

以下是参与本书编写和技术审校的人员名单。

主编：盛成。

副主编：白杰、孙奇。

编写人员：王春宁、房永龙、何宏伟、侯建强、唐鹏合、田旭、叶涛、尹智峰、虞玲玲、李辉、龙华。

技术审校：顾雄飞、李军辉、郭俊、李教峰、杨新峰、张浩、陈勇、于颀、李方力、达呼巴雅尔。

参与本书编写和技术审校的人员虽然有多年ICT从业经验，但因时间仓促，书中错漏之处在所难免，望读者不吝赐教，有任何意见和建议，请发送至weiyi@ptpress.com.cn，在此表示衷心的感谢。

本书常用图标

第1章 WAN有引力

打破地理位置的束缚，实现畅通无阻的交流，是人们一直追求的目标。从鸿雁传书到电报、电话，再到即时通信，科技的进步使人们虽远隔千里却如同近在眼前。“天涯若比邻”如今已成为现实，而不再是诗人诉诸笔端的美好愿望。

不仅仅个人有交流畅通无阻的需求，企业在这方面的需求更是强烈。伴随着经济全球化与数字化变革的浪潮，企业规模不断扩大，越来越多的分支机构分布于不同地域，总部和各分支机构之间需要跨越地理障碍来实现通信与交流。如今的信息社会以网络为根、连接为本，企业需要通过WAN将分散在不同地理位置的分支机构连接起来，以便更好地开展业务。

WAN具有引力，它不仅使企业千里之外的分支与总部紧密相连、共享信息、互通有无，还吸引着众多网络厂商为提高连接质量和创造更佳的网络体验而不懈努力。下面让我们一起来探索波澜壮阔的企业广域互联世界。

1.1 企业WAN的演进趋势

WAN对于每一个通信行业的人来说并不陌生。初入网络世界，通信人最早接触到的名词大概就是LAN（Local Area Network，局域网）、MAN（Metropolitan Area Network，城域网）和WAN了。温故而知新，下面先来回顾一下WAN的发展历程。

WAN一般是指跨越多个国家、地区或城市的用于企业、组织或个人远距离通信的广域互联网络，其覆盖范围从几十千米到几千千米，可以实现相当大范围内的信息与资源共享。出于成本以及建设难度的考虑，WAN一般由运营商提供。比如，与日常生活息息相关的因特网，就是一个由全球不同运营商搭建的WAN。

正是因为有了WAN，企业把分散在不同地理位置的分支相连起来的目标才得以实现。依靠WAN，企业将全球范围内的分支机构连接起来并开展各项业务，极大地促进了经济的全球化发展。

那么，企业如何获得WAN呢？通常情况下，企业会租用运营商提供的WAN专线来搭建自己的企业WAN。例如，企业可以租用运营商提供的多条点到点的专线来实现分支间互联，也可以租用运营商提供的公用网络来搭建自己的WAN，并利用这个公用网络，使企业的各分支节点通过单一线路就可以连通其他分支节点。

网络技术的浪潮浩浩荡荡、势不可挡，企业WAN也在不断演进，经历了从TDM（Time Division Multiplexing，时分复用）时代到IP/MPLS（MultiProtocol Label Switching，多协议标签交换）时代再到云时代，与之对应，运营商提供的构建企业WAN的专线也在不断演进，如图1-1所示。

图1-1 企业WAN的演进趋势

运营商提供的专线基本分为两大类。

第一类是基于TDM技术的SDH、MSTP以及基于WDM（Wavelength Division Multiplexing，波分复用)技术的OTN等专线，这些专线是传统的点到点的物理专线，具有很强的安全性。同时，使用者独占专线资源，带宽和服务质量能够得到很好的保障，因而价格也非常昂贵。金融行业的企业用户对广域线路的质量、通信的安全性和私密性的要求很高，往往选用这类专线。

第二类是基于分组交换技术的MPLS VPN专线，也可以称为组网型专线，即一点接入，全网任意点均可达。MPLS VPN专线在本质上和第一类专线相同，都是由运营商提供的专线接入方式。不同的是，MPLS VPN专线与第一类专线相比，在组网便利性和成本方面具备一定的优势。同时，MPLS VPN专线能够提供较好的带宽、可靠性保障及安全隔离等服务，因而在当前的企业WAN互联市场有着广泛的应用。

伴随着企业IT数字化以及经济全球化的发展，企业开始进入云时代，因而需要一种更加便捷、智能、简易的网络连接方式，以实现随时随地、触手可得的高品质WAN互联。同时，随着因特网的快速发展，IP网络无论是在覆盖范围还是网络质量方面都取得了长足的进步，这也使通过因特网进行企业WAN互联成为可能。

在这种形势下，以EVPN、VXLAN、NVGRE等为核心的新一代基于Overlay的VPN技术崭露头角。该类专线技术在业务开通敏捷性、组网灵活性以及互通性等方面的优势突出，因而已经逐渐成为新一代的企业WAN互联的主流技术。

需要特别说明的是，企业WAN专线演进的三个阶段性网络技术并不是替代关系，而是长期并存的，彼此之间还存在互相依存的关系。比如MPLS VPN作为一种组网型专线，在组网和可靠性方面的优点使其仍然会长期存在；新兴的Overlay专线更多的时候可以被看作一种可以灵活调度的组网技术，其与MPLS VPN专线不是相互取代的关系，而是可以运行于MPLS VPN专线之上，增加调度因特网等其他WAN的能力。

1.2 企业WAN当前面临的挑战

在传统的企业WAN互联场景中，企业通过WAN实现跨地域组织机构的互联互通，如图1-2所示。一般来说，传统的企业WAN互联场景具有如下基本特征。

图1-2 传统的企业WAN互联场景

·企业的组织机构通常由总部、分支和数据中心3个部分组成。

·企业通过购买运营商提供的SDH/MSTP/OTN/MPLS专线构建WAN。

·企业的多个分支访问总部/数据中心开展业务，并经由总部/数据中心中转访问因特网。

在传统的企业WAN互联场景下，企业WAN的网络架构相对来说比较封闭，其原因如下。

·关键应用和信息数据存储在企业内部，WAN带宽需求较小，业务变化不频繁。

·运营商专线的互联方式较单一，组网拓扑变化小。

·在总部/数据中心集中实施安全策略，安全性可以得到保证。

在相当长的一段时间内，这种传统的WAN的架构为企业分支的互联互通发挥了重要的作用，较好地满足了企业的业务需求。

但是企业数字化转型逐步深化，云计算、网络虚拟化和网络服务化等一系列外部的商业和技术因素不断涌现，对传统企业WAN的业务模型和网络架构产生了深远的影响，传统的企业WAN面临一系列新的问题和挑战。

（1）业务云化如火如荼

云计算的兴起带动了公有云的蓬勃发展，越来越多的企业考虑在公有云上建设IT系统，以此来降低企业自身IT系统的建设成本并缩短建设周期。同时，企业的传统应用也在逐渐云化。更多的时候，企业会借助WAN访问SaaS（Software as a Service，软件即服务）应用，如办公软件、数据库等。

企业的业务向云端迁移，企业WAN正在承载越来越多和云相关的应用流量，这就导致WAN流量大增，企业对WAN的带宽需求明显增大。同时，企业WAN的传送质量也成为影响企业云应用体验的关键因素。此外，由于因特网存在过高的时延和过多的丢包、MPLS专线不易接入云等，企业实现云网融合仍然困难重重，因而无法充分享受云计算带来的卓越的速度和性能体验。

（2）网络虚拟化方兴未艾

NFV（Network Functions Virtualization，网络功能虚拟化）是指借助虚拟机或者容器技术，将传统的路由器、防火墙等专用网络设备软件化，使其运行在通用的服务器上，从而实现网络功能的虚拟化，使网络功能和网络设备分离。

NFV通过软件实现多种网络功能，具有显而易见的优势，例如降低硬件成本和运营维护成本，实现业务的灵活、快速部署等。NFV等网络虚拟技术促进企业WAN基础设施的部署和运维方式发生变革，朝着业务快速发放、按需简化部署的方向加速发展。

（3）网络服务化大势所趋

当前企业WAN有两个基本组成部分：一是路由器、交换机等网络设备；二是MSTP/MPLS等企业级WAN专线。无论是网络设备还是WAN专线，其本质都是一种产品。设备商或者运营商转售产品给企业客户，以产品的功能和性能规格为承诺目标，而不对企业客户的IT应用最终是否可以带来令人满意的体验负责。因此，企业将购买的产品集成后，如果企业WAN应用的访问质量不佳，这个问题仍然需要客户自己解决。

相对于上述产品的商业模式而言，服务是以满足消费对象最终的业务需求为目的的，其本质是比产品更直接的一种消费形态。网络服务化使得企业购买到的不再是分开的产品组件，而是业务服务和承诺，衡量其质量的标准是客户对所获得服务的满意度。

目前，网络的转售从产品化发展到服务化已经是大势所趋。这对于运营商来说，不仅可以改变其粗放的产品销售模式，还可以将企业从IT网络建设的主体演变成单纯的需求提出方，逐渐把企业从繁重的IT网络建设工作中解放出来，使企业可以更好地集中各种资源，专注于核心业务，从而提升生产效率。

（4）企业通信互联网化

近些年，因特网的覆盖范围和网络性能不断提升，其网络质量与传统专线的差距正迅速缩小。在企业通信领域，选择因特网作为网络传输方式已是发展趋势，能从整体上实现网络资源的更有效利用。因此，除了传统的上网服务，因特网正越来越多地发挥使企业总部、分支和数据中心互联互通的作用，成为企业WAN互联场景中除运营商提供的传统专线外的另一选择。

综上所述，在网络技术发展和商业模式变革的双重作用下，企业WAN互联互通产生了新的变化，新形势下的企业WAN互联场景如图1-3所示。

图1-3 新形势下的企业WAN互联场景

与传统的企业WAN互联场景相比，当前的企业WAN互联场景中，除了总部、分支和数据中心的互联外，还包括公有云、SaaS应用的互联。同时，因特网也是一个不能被忽视的元素。总体来看，企业WAN的互联场景变得更加复杂，具体来说，在云网融合、应用体验、高性能网络以及管理运维等方面正面临一系列新的挑战。

（1）全球化和云化大势所趋，多云多网如何联？

未来几年内，绝大多数的企业都会将业务部署到云端。同时，5G、4K/8K高清视频、VR（Virtual Reality，虚拟现实）/AR（Augmented Reality，增强现实）、物联网等新兴业务的快速普及，将使企业WAN流量爆发式增长。企业的互联场景将愈加复杂，涉及企业总部园区、分支、混合云、IaaS（Infrastructure as a Service，基础设施即服务）/SaaS、移动办公等，且需适配不同地域、不同运营商的不同网络环境，如光纤、DSL（Digital Subscriber Line，数字用户线）、LTE（Long Term Evolution，长期演进）、5G等。如何构建面向云时代、易扩展且建设成本合理的网络是建设企业WAN将要面对的重要问题。

这一问题对于跨国公司来说尤为重要。以华为为例，作为全球化企业，截至2019年，华为的业务已覆盖全球170多个国家、900多个分支机构、15个研发中心和36个联合创新中心，以及百万级的合作伙伴和供应商。深圳总部、分支机构、研究中心、华为公有云、第三方IaaS/SaaS、私有云、供应商、合作伙伴等不同场景的连接需求各异。如何高效地实现多云多网互联，承载如此庞大、复杂的组织架构，成为华为等跨国公司成功完成数字化变革的关键所在。

（2）应用数量急剧增长，关键应用体验如何保？

步入云和数字化时代，大量新兴的企业业务正与云计算紧密结合、蓬勃发展，企业应用的数量和种类呈爆发式增长，如语音、视频、文件传输、电子邮件、SaaS应用等。不同的应用对链路质量有着不同的要求，例如，云桌面业务的最佳体验要求时延低于20 ms，视频会议对丢包、时延敏感，要求不能出现卡顿和花屏，因为没有人愿意在使用云桌面和同事开视频会议时，看到带有马赛克的脸。

传统的企业专线无法感知业务，无法获知应用的状态，因而当遭遇突发流量导致链路拥塞或质量劣化时，往往无法保障关键业务。如何在多样的应用中快速识别关键应用并优化体验，成为企业提高内部效率和客户满意度的关键所在。

（3）分支网络设备性能低，网络拥塞如何破？

在传统的企业WAN场景中，运营商卖专线送硬件网络设备，但这些设备本身往往仅具备基础的路由转发能力，业务处理和转发性能均有限。随着云、视频以及VR等新兴业务的兴起，企业WAN对带宽的需求迅速增加。此外，为了保证应用体验，设备需要具备一定的应用识别及广域优化的能力。

总之，随着分支业务愈加复杂，以基础的路由转发能力为核心的传统盒子必然会遭遇性能瓶颈。使能增值服务后，在应对企业流量激增这一情况的过程中，一旦出现业务高峰，遭遇突发流量，往往会造成关键业务拥塞，从而影响企业WAN业务的开展。如何进一步优化和提升设备性能，是企业WAN在新时期需要解决的关键问题。

（4）分支网络部署运维难，手工配置何时休？

在数字化和全球化的大潮中，分布更广、数量更多的企业分支需要被连接，分支网络上线必须更加快速、灵活，分支网络运维更需简单、便捷，这样才能适应业务快速发展的需要。然而，不同分支的网络诉求复杂多变，网络分布分散且数量多，配置项往往多达成百上千条，且需要专业网络工程师上门进行网络开通、业务调试、故障定位等，造成网络部署和运维成本居高不下。

谁可以快速开展业务，谁就能够在商业竞争中占得先机。以保险行业为例，大型保险企业往往有数千个保险网点，而且存在大量的网点新建和搬迁诉求，要想通过传统专线上线一个新的分支，往往需要经过专线申请、资源分配、接入施工等多个环节，业务上线周期动辄几个月。此外，业务开通主要依靠网络工程师到现场手工配置，对配置人员的技能要求高，开通效率低。如何降低网络部署和运维成本，提升客户满意度，是企业无法忽视的重要问题。

第2章 SD-WAN应运而生

企业WAN该何去何从，是固守现状还是再创辉煌？当前企业WAN面临的问题既是挑战，也带来了机遇。企业WAN已经走过的几十年的发展历程告诉我们，勇于变革是必然的选择。

近些年来，SDN风头正劲，已然成为创造新秩序的强势力量。SDN带来了构建网络的新思想，有望解决企业WAN当前面临的问题，企业WAN的变革就此开始。

2.1 当WAN邂逅SDN

2.1.1 SDN是何方神圣

要想探究SDN的由来，必须把视角提高到整个网络的层面来发现当前网络存在的问题。传统的网络架构采用分布式控制，网络设备是由硬件、操作系统和网络应用组成的封闭系统，其控制功能和数据转发功能紧耦合。这种网络架构灵活性差，网络协议复杂，对网络设备商的依赖性非常强，运维和管理困难，难以满足用户灵活部署业务的需求。

SDN的提出正是要解决上述问题。SDN即软件定义网络，让代表业务的应用可以参与对网络的控制管理，以满足上层业务的需求，通过网络自动化部署，增强业务的敏捷性，同时提升网络运维效率。

SDN可以被看作一种全新的网络架构，或者说是一种网络设计理念。从另一种意义上说，SDN是思考和解决当前网络所面临的问题的方法，代表着人们对网络变革的期盼。既然SDN可以被看作一种网络架构，接下来有必要进一步了解SDN的架构实现，这里采用ONF（Open Network Foundation，开放网络基金会）给出的SDN定义来进行说明，如图2-1所示。

图2-1 ONF定义的SDN架构

ONF认为SDN是一种能将网络的控制功能与转发功能分离并实现可编程控制的新型网络架构。从图2-1可以看出，SDN架构自上而下可分为3层，分别是业务层、控制层和基础设施层。

1.业务层

如同人体系统中负责与外界沟通的五官，业务层是SDN架构中最上层的交互界面。业务层由各种业务应用组成，主要负责理解用户的业务诉求，以及根据用户需求定义和编排网络服务。

2.控制层

控制层是SDN架构的大脑，具有贯通南北向的作用，其向上通过北向接口（Northbound Interface）向业务层开放抽象后的网络功能及服务，向下通过南向接口（Southbound Interface）控制基础设施层网络设备的转发行为。

3.基础设施层

基础设施层可以看作SDN架构的躯干，其中包含各种常见的网络设备，这些网络设备会按照控制层下发的策略来转发流量。

ONF的定义进一步证明了SDN并不是一种具体的网络技术，而是用于设计网络的框架。该框架具备转发与控制分离、集中式控制、网络开放可编程三大特点。SDN也正是基于此来实现传统网络的重构的。

SDN诞生于高校的研究项目，历经十余年的发展，已成为驱动网络发展的重要力量。SDN并非高高在上的空洞理论，也非华而不实的无用招式，相反，它早已在数据中心网络这个领域施展拳脚，为数据中心网络勾画出美好蓝图。当初的星星之火如今已成燎原之势，SDN这把火烧到了WAN。

2.1.2 SD-WAN恰逢其时

SDN和WAN风云际会，思想的碰撞和融合必将会产生新的事物。在介绍新生事物之前，有必要把背景信息介绍清楚，那就先从ONUG（Open Networking User Group，开放网络用户组）说起吧。

ONUG是由大企业主导、以IT用户为主的极具影响力的用户组织。该组织由北美知名大企业的IT技术高管组织成立，致力于推进大型企业的IT实现和网络技术转型。ONUG的成员包括金融、保险、医疗、零售等行业中的大型企业，为北美高端客户提供了讨论和交流IT需求的平台。

SDN的浪潮席卷网络界，ONUG成员经讨论发现，既然SDN已经在企业LAN中发展得风生水起（如云数据中心网络），那么能不能把SDN也应用在企业WAN中呢？毕竟企业WAN面临诸多挑战，解决问题的需求更为紧迫。

于是，在2014年的一次会议上，ONUG明确定义了一个新的概念：SD-WAN。SD-WAN是SD（Software Defined，软件定义）和WAN的结合，表示将SDN的架构和理念应用于WAN，并借助SDN来重塑WAN。

创造了SD-WAN这一概念后，ONUG还定义了SD-WAN的十大需求[1]。这十大需求涵盖的范围比较广，涉及的内容也很详细，如表2-1所示。

表2-1 ONUG定义的SD-WAN的十大需求

续表

作为最先定义SD-WAN的组织，ONUG对SD-WAN的定义可谓是“原生态”的。除此之外，业内各标准组织和机构纷纷参与，定义SD-WAN的特征及相关技术标准，正可谓是百家争鸣、各抒己见。

（1） Gartner

Gartner是全球最具权威的IT研究与顾问咨询公司，其研究范围覆盖全部的IT产业，就IT的研究、发展、评估、应用、市场等领域，为客户提供客观、公正的论证报告及市场调研报告，协助客户进行市场分析、技术选择、项目论证及投资决策。

Gartner推出的魔力象限（Magic Quadrant）是业内著名的研究工具，它是在某一特定时间内对市场情况的图形化描述。Gartner在2018年发布了WAN边缘基础设施的魔力象限，并对SD-WAN的厂商和市场情况进行了分析。

在更早些时候，Gartner明确定义了SD-WAN的4个基本特征，如表2-2所示。

表2-2 Gartner定义的SD-WAN的4个基本特征

从Gartner定义的SD-WAN的特征可以看出，SD-WAN的针对性很强，从下层链路到上层应用均有涉及，且要能够提供跨多个WAN连接的动态的、基于策略的应用路径选择，并支持多种增值服务。同时，Gartner认为 SD-WAN优势巨大，可以增强应用体验、缩短配置时间、提高网络的可用性以及降低部署成本等。

（2）MEF

MEF（Metro Ethernet Forum，城域以太网论坛）是一个专注于解决城域以太网技术问题的非营利组织，其目标是要将以太网技术作为交换技术和传输技术广泛应用于城域网建设。MEF的宗旨是推动现有标准及新标准、以太网业务的定义、测试规程、技术规范的实施，使基于以太网的城域网成为运营商级的网络。

MEF的主要工作还包括面向运营商管理服务市场，提供基于LSO（Lifecycle Service Orchestration，生命周期服务编排）的方案和架构，并定义北向接口，解决多厂家的对接和互通问题。

MEF在2017年发表的一篇论文中[2]介绍了SD-WAN的特征、解决方案的组件，并为组件的所有接口提出了定义框架和服务规范。这里对MEF定义的SD-WAN的特征进行简要的说明，如表2-3所示。

表2-3 MEF定义的SD-WAN的特征

Gartner与MEF对SD-WAN的特征的定义有很多相同点，如多链路接入、基于应用的选路、广域优化、安全等。但与Gartner相比，MEF定义的SD-WAN的特征更加细化。此外，MEF认为SD-WAN还应具备的一个重要特征是通过对WAN的集中管理、控制和编排，实现业务自动化部署。

虽然以上介绍的公司和组织对SD-WAN的定义不尽相同，但是从中不难看出它们对SD-WAN的基本看法：

·通过ZTP等方式，实现分支的快速部署和上线，提高部署效率；

·基于不同的应用类型，动态调整流量的路径，实现灵活便捷的调度方式；

·集中管控，全网状态可视化，提供自动化、智能化运维能力；

·提供广域优化、安全等增值业务，实现业务快速发放。

除了上述组织和机构之外，业界各领域的交流也在推动SD-WAN的发展。几乎每年都有一场国内或国际范围的SD-WAN盛会，会上业内专家论道SD-WAN，促进SD-WAN产业不断向前发展。

ONUG会议。作为SD-WAN的诞生地，ONUG对SD-WAN的热度一直不减。在ONUG会议上，SD-WAN是持续性的热点话题，相关的使用案例、概念验证示范和供应商技术展示共同推进SD-WAN不断创新和完善。

SD-WAN Summit。从2017年开始，一年一度的SD-WAN Summit是SD-WAN领域在世界范围内的盛会，包括全球的测试机构、咨询公司、标准组织、厂商以及运营商在内的参会者，通过全面深入的交流研讨来推动SD-WAN的应用和发展。

中国SD-WAN峰会。2018年，首届中国SD-WAN峰会成功举办。作为国内首场SD-WAN专场活动，来自运营商、互联网、SD-WAN提供商等领域的专家学者齐聚一堂，探讨SD-WAN的发展大计。各类厂商也通过提供差异化的SD-WAN产品和方案，积极加入SD-WAN的玩家圈。具体来看，在SDN的大背景下，传统的网络设备提供商依托其成熟的设备和存量市场，提供SD-WAN解决方案；新兴公司（初创公司）专注于提供各具特色的SD-WAN解决方案；传统的安全、广域加速设备商把握SD-WAN带来的新机遇，利用其专业的防火墙或WAN加速设备，进入SD-WAN领域。此外，一些传统的运营商也积极变革，通过提供传统专线和SD-WAN结合的一体化服务，将SD-WAN作为一个新的业务增长点；云服务提供商也不甘落后，通过SD-WAN将企业分支接入其高性能、全球互联和智能化的云骨干网，帮助企业分支更好地访问云，以及实现分支互联。

除了SD-WAN，业界还有一个类似的名词：SDN WAN，两者仅一个字符之差，很容易混淆，但是内涵相差甚远。下面从应用场景和组网技术两个不同角度进行说明。

首先，从应用场景角度，SD-WAN是企业WAN互联方案的演进，侧重于企业分支互联的智能化和服务化；而SDN WAN通常是运营商业务范畴领域的解决方案，指的是运营商在自建WAN（IP骨干网和城域网）上的演进，侧重于IP+光的骨干网和城域网，借助SDN来优化WAN转发路径，简化网络部署复杂度和提高网络带宽的利用率。

其次，从组网技术角度，两者都需要网络控制器，SD-WAN主要采用了Overlay技术，控制平面一般采用BGP-EVPN协议，转发平面采用IPSec（Internet Protocol Security，互联网络层安全协议）等隧道技术，重点解决企业站点之间的多路径智能选路问题，主要网络产品涉及企业的中低端路由器；而SDN WAN一般通过网络控制器集中计算全网最优路径，全网设备通过部署BGP-LS（Border Gateway Protocol-Link State，BGP链路状态）协议、PCEP（Path Computation Element Communication Protocol，路径计算单元通信协议）等执行全网拓扑收集和路径分发，关注的是运营商WAN的路径调优，主要网络产品涉及运营商骨干网的高端路由器。

2.2 SD-WAN内涵的解读

如上所述，不同的标准组织对SD-WAN的概念定义和功能解读各有差异，业界对SD-WAN还没有一个统一的标准定义，如图2-2所示。

图2-2 业界对SD-WAN众说纷纭

那么，究竟什么是SD-WAN呢？简单来说，SD-WAN是将SDN技术应用到企业广域互联场景中所形成的一种网络服务。依托SDN控制器，这种网络服务具备WAN自动化配置、集中控制管理以及对外开放可编程的特征。

从实现角度，SD-WAN对传统的企业WAN技术，如路由、QoS、安全和广域加速进行了深入融合，同时又引入了SDN、NFV以及业务编排等新技术，通过集中部署的SD-WAN网络控制器，实现企业WAN互联的集中编排、控制和管理。

2.2.1 SD-WAN的基本特征

透过现象看本质，基于前述对SD-WAN内涵的解读，下文从企业WAN基础组网、云网融合、应用体验以及运维等多个角度入手，进一步整理出了SD-WAN的10个特征。

1.基于混合WAN链路，实现灵活的Overlay组网

先来看一下WAN组网的变迁，如果将企业WAN看成一个全国的物流系统，企业分支就像是各地的物流站，物流站之间的运输方式有多种，比如飞机运输、高铁运输、汽车运输等。传统的物流系统全部采用飞机和高铁进行物流运输，这种运输方式虽然快速可靠，但是价格昂贵。随着全国高速公路网的发展，汽车运输也成了一种快捷而且成本更低的物流运输方式，如图2-3所示。

图2-3 物流系统的变迁

传统的WAN一般通过运营商提供的专线进行互联，随着因特网质量的提升和覆盖范围的扩大，因特网就可以作为WAN技术的新选择。企业除了选择运营商提供的MPLS专线外，还可以选择因特网进行WAN分支互联，从而实现混合WAN互联，以有效降低WAN的部署成本并改善WAN的使用效率，如图2-4所示。

图2-4 WAN组网变迁

要实现混合WAN，还需要一些关键的网络技术用于支撑，如Overlay和VPN技术。Overlay技术主要是借助IP隧道封装技术，使业务流量被封装在隧道内，以实现流量在不同WAN链路的透明穿越，如图2-5所示。

图2-5 Overlay技术

Overlay技术也带来了用户Overlay网络与运营商Underlay网络间安全隔离的问题，这就需要另一种技术：VPN。简单来说，VPN技术一般是通过在 IP报文中增加额外的VPN字段来实现不同网络域的标识，最终达到企业私有网络和运营商公共网络，甚至企业内部不同私有网络之间隔离的目的。综合来看，Overlay与VPN是一对孪生技术，且通常都是相伴而行，同时部署。

2.设备即插即用，业务快速上线

为实现企业新建分支的快速上线，希望在设备邮寄到达站点后，站点内的普通工作人员不需要具备专业的网络技能，通过对设备的即插即用就可以实现分支网络的开通。要实现这一点，就需要一个集中的网络控制系统来实现设备的注册和纳管，按需自动远程下发该站点设备所需要的网络配置，最终实现分支业务的快速开通。

具体来说，网络控制系统可以向开局人员发送包含站点设备配置信息的邮件。开局人员为站点设备连线上电，然后通过简单的操作使站点设备加载邮件中的配置信息，最终使站点设备自动向网络控制系统上线注册，如图2-6所示。

设备即插即用的方式有效降低了对开局人员的技能要求，使分支业务的开通和调整时间从数天甚至数月减少到数小时，因而大大提升了分支网络业务发放的敏捷性。

图2-6 即插即用

3.高性能的分支设备，以应用为核心的全业务处理

为了满足业务需求，企业的分支设备必须以应用为核心，提供VPN、QoS、应用识别、监控、选路、安全、应用优化等不同功能，这就对设备的性能提出了更高的要求。传统分支CPE以一层～三层包转发为核心，在面对以三层～七层应用为核心的全业务处理时，往往“力不从心”。

在SD-WAN中，高性能分支设备基于“多核CPU+NP”的转发架构，利用专业的NP（Network Processor，网络处理器）芯片实现二层～四层流量极速转发和高效的QoS处理，并依托多核CPU（Central Processing Unit，中央处理器）的开放可编程能力，可以将丰富的硬件级智能加速引擎，如HQoS（Hierarchical Quality of Service，分层服务质量）、应用识别和IPSec加速等，导入芯片中，以提供高性能的三层～七层全业务处理能力。

4.面向业务和意图，网络编排和自动化发放

传统的网络业务发放都是通过人工静态配置的，因而复杂的网络知识对人的技能要求很高，比如需要专业的网络工程师进行规划、配置和故障运维，然后通过命令行或者网管，将预先规划好的业务配置逐个设备、逐条命令地输入和发放，这就导致业务的开通效率比较低，也无疑增加了企业的运营成本。因此，更加简易和敏捷地进行WAN业务发放，成为SD-WAN的核心目标。

SDN的出现使通过集中的网络控制系统进行网络业务的抽象、编排和按需自动化发放成为可能。首先，通过网络控制系统对网络业务进行抽象和建模，借助模型抽象，对外屏蔽网络具体的技术细节，只暴露面向业务的接口和参数。网络控制系统对外提供业务界面或者可编程的API，最终用户可以根据业务诉求，驱动网络控制系统进行网络业务的编排和自动发放。业务发放演变如图2-7所示。

图2-7 业务发放演变

举例来说，某个企业想实现多个分支之间通过总部进行连接。传统的做法是在每个分支设备上人工配置相关的网络参数，如接口、IP地址、路由协议、安全、VPN等。如果有100个分支站点，则需要逐个站点、逐台设备分别配置。同时，针对总部站点，为了让分支流量都通过总部进行转发，还需要进行特殊的路由配置。整个过程比较烦琐，需要操作人员熟悉交换和路由等网络技术细节，因而业务开通慢，人工操作也容易出错。

在SD-WAN中，有一个集中的网络控制系统作为网络的控制中心，用于管理所有的分支站点设备。网络控制系统作为网络的大脑，对外展示一个非网络专业的用户就可以理解的网络连接操作原语，比如用户的指令是开通100个分支设备，并通过总部站点中转互联。在用户无须输入网络参数的情况下，网络控制系统就能将这种原始的网络连接诉求自动翻译成网络设备能够理解的传统网络配置操作，即传统方法中人工执行的路由和VPN等操作，发放到分支站点设备上，从而实现网络业务的自动发放。

SD-WAN的整个网络业务的发放过程均通过网络控制系统自动完成，因而有效降低了用户的网络技能要求，减少了网络操作步骤。同时，由于网络控制系统可自动转换，因而不易出错，大大提升了WAN的业务发放效率，用户操作体验也得到明显提升。

5.按需高效地连接云

云时代来临，企业WAN需要打开传统封闭的网络架构，灵活地连接各种云资源。与企业WAN紧密相关的云资源主要包括IaaS基础云服务以及SaaS云应用。

随着公有云的流行，越来越多的企业考虑将自己的IT系统搬到公有云上。企业在公有云的“新家”可以看作一个特殊的分支站点，即云站点（Cloud Site），如图2-8所示。云站点同样需要一个设备作为网关连接企业的分支和公有云，且由于该设备位于云上，因而需要实现NFV。此外，云端的设备要能够快速创建，并实时连接到企业分支站点，因而需要一个集中的网络控制系统来远程调度公有云API和资源，并将云端的设备自动拉起，将公有云和分支的网络打通。

为了更高效地访问SaaS应用，SD-WAN需要具备优化访问SaaS路径的能力。如图2-9所示，企业通过WAN访问远端在云上的SaaS应用，此访问可能存在多种路径选择，比如通过因特网访问、通过MPLS网络访问或者间接通过总部进行访问，这就需要分支能够实时感知每条可选路径的网络SLA（Service Level Agreements，服务等级协定）质量，并在集中的网络控制系统的帮助下，具备实时调整并选择最优SaaS访问路径的能力。

图2-8 连接公有云

图2-9 访问SaaS云应用

6.智能应用选路，保障应用体验

混合WAN的引入使得企业的业务流量存在多种WAN链路选择。不同的WAN链路具备不同的网络质量，即丢包率、时延和抖动等网络性能SLA指标各不相同，比如MPLS专线价格高，链路SLA质量也有保证；而因特网虽然网络质量得到大幅提升，可以承载大带宽的应用，但是大时延和丢包现象时有发生，缺少SLA保证，很难承载对时延敏感的语音和视频业务。

要解决这个问题，需要实现基于应用SLA质量诉求的选路。具体来说，就是测量不同WAN链路的质量，同时定义应用对于网络质量的诉求，如丢包率、时延和抖动等。在所有满足应用SLA质量诉求的WAN链路中，企业用户又可以定义选路策略，让高价值应用优先通过高质量的WAN链路传输。

如图2-10所示，作为高价值流量的语音优先在高质量的MPLS链路上传输。当MPLS链路质量发生劣化，不再满足应用SLA质量的诉求时，具备动态调整路径能力的网络可以自动将语音流量切换到另一条满足应用SLA质量诉求的WAN链路上。

图2-10 智能选路

7.广域优化，提升WAN传输质量

应用选路的前提是有符合应用SLA质量诉求的WAN链路，当WAN链路出现绝对的质量劣化时，比如发生丢包和产生大时延，就需要考虑采用广域优化技术来提升网络容错性，以保证数据传输的质量。常见的广域优化技术通常有传输优化、数据优化和抗丢包优化。

下面以一种常见的抗丢包技术——FEC（Forward Error Correction，前向纠错）为例，说明广域优化带来的价值。FEC的核心思想是通过改造或者优化数据传输协议来提升应用数据对于质量劣化链路的容错性。在正常的数据流中，FEC携带冗余校验报文（FEC报文）来记录报文的摘要信息。因此，在数据传输的过程中，即使网络出现丢包导致业务的个别报文丢失，在数据的接收端，设备仍可以根据FEC字段重新复原出丢失的报文，从而保证数据传输的完整性，如图2-11所示。

图2-11 FEC技术

总的来说，广域优化的核心是额外使用计算或者存储的资源来改善网络的传输性能，从而提升应用的体验。广域优化是企业WAN在链路质量发生劣化情况时，保证用户业务体验不受影响的一种非常有效的技术手段。

8.安全可靠的连接

企业WAN的应用数据传输必须建立在安全保障的基础上，其中包括系统安全、业务安全等方面，最终必须实现全面的安全保障。

系统安全主要包括网络设备以及网络控制系统的安全，这些网元设备需要连接到WAN，甚至可能和因特网连接，因此要具备防攻击等基本的安全防护能力。同时，企业的应用数据在WAN上传输，要进行必要的认证和加密，以防止数据泄露。另外，企业内部不同部门之间以及企业内网和外网之间，需要有不同的互访策略，SD-WAN要能提供ACL（Access Control List，访问控制列表）过滤、防火墙、防攻击等丰富的安全措施，以保证业务安全。

9.集中管控和可视化，简单易运维

企业的WAN分支往往地域分散，而且数量巨大，急需集中的管控和运维系统。首先，该系统应能够解决分支设备远程管理的问题，能够显示WAN的拓扑，并实时远程监控每个分支设备的告警、日志和其他关键事件信息。同时，企业用户也需要了解WAN的网络性能以及应用质量，需要设备能够实时向集中的网络控制系统上报网络性能数据，包括关键WAN路径的丢包率、时延、抖动，以及流量统计信息等。在集中的网络控制系统上，对网络的关键性能数据、质量以及应用体验健康度进行集中的图形化呈现，如图2-12所示。

图2-12 可视化运维

其次，集中网络控制系统对故障定位和预防具备一定的智能运维能力。该系统可以对设备和网络的关键事件的发生原因进行分析，并提示出现问题的可能原因，以提升WAN的运维效率。该系统借助专业的网络分析功能组件，实现应用质量以及故障定位等高级智能分析，甚至可以预判网络中发生的故障和事件，并对此进行提前预警或者给出故障处理建议。

10.北向开放API，实现SD-WAN对外可编程

SD-WAN是SDN软件定义思想的延伸，SDN的核心理念是软件定义，即对外坚持开放和可编程。网络控制器北向提供开放和可编程的RESTful接口，第三方的BSS（Business Support System，业务支撑系统）/OSS（Operational Support System，运营支撑系统）软件和网络控制器对接，并调用其北向API，再通过软件定义的方法驱动SD-WAN和策略创建，由第三方完成SDWAN的集成和定制。

2.2.2 SD-WAN的核心价值

梳理了SD-WAN的基本特征后，再进一步总结归纳SD-WAN带来的核心价值。可以看到，SD-WAN将为企业客户带来4个方面的核心价值：一是能够高效地实现多云多网互联，满足不同业务场景的连接需求；二是能够提供应用识别和智能选路，保证企业关键应用体验；三是其高性能分支设备能够具备以应用为核心的全业务处理能力，避免业务拥塞；四是能够通过即插即用以及集中管控和可视化呈现，降低网络部署和运维成本。

简而言之，SD-WAN的核心价值主要体现在它能够帮助企业随时随地、灵活便捷地构建一张强互联、优体验、高性能、易运维的高品质广域互联网络。

1.强互联：灵活组网构建多云多网按需互联

SD-WAN可充分利用混合链路资源，使企业分支无论坐落何处，都可根据当地网络“就地取材”，灵活利用光纤、DSL、LTE等混合链路的接入，快速实现网络开通并优化链路成本。同时，SD-WAN提供Hub-spoke、Fullmesh、Partial-mesh、层次化组网、IaaS/SaaS访问等丰富的组网模型，用于适配企业不同的业务。

企业只需要基于网络建设意图，通过网络控制器编排和指定拓扑模式，并根据拓扑模式，在内部将其转换为对应的网络模型，按照路由策略控制不同站点的路由收发，就可实现拓扑模式灵活的隔离和互访，实现多云多网的按需互联。

2.优体验：应用选路和优化保障关键应用体验

SD-WAN支持实时监控多条链路的质量，不仅可以探测链路是否畅通，还会记录丢包率、时延、抖动等实时的状态信息。同时，SD-WAN也提供了多种应用识别手段，可以准确识别流量中的应用信息。两者结合使用，就可以基于不同的应用类型，动态调整流量的路径，实现更灵活、便捷的调度方式。

同时，SD-WAN通过集成的应用优化算法，可进一步保障关键应用的优质体验。例如，通过抗丢包优化算法，以最小冗余包为代价来实现丢包后的快速恢复，以此保障关键的音视频应用在网络丢包的情况下无卡顿、无花屏；通过传输优化算法来极大地减小文件传输和业务访问的时延。

另外，优体验也体现在可靠性和安全性方面。SD-WAN提供链路、设备和组网级的高可靠性保证，并且具备全面的安全防护措施，以保证系统架构安全稳定运行，同时保护企业业务免受网络安全威胁的侵害。

3.高性能：高性能分支设备构筑转发新引擎

与传统的企业分支设备相比，SD-WAN的分支设备具备高性能的转发能力，其处理能力从一层～三层以包转发为核心延伸到三层～七层以应用为核心的全业务处理，帮助企业分支构筑转发新引擎，支撑企业业务的正常运转。

在SD-WAN中，企业分支设备能够提供VPN、QoS、应用识别、监控、选路、安全、应用优化等功能，满足企业的业务需求。在分支流量突发的情况下，高性能的设备能够保障分支业务无拥塞。

4.易运维：意图驱动的极简分支网络运维

SD-WAN继承了SDN集中控制和意图驱动的设计思想，这就使得基于意图的全网集中管控变成可能。基于集中控制这个前提，SD-WAN提供了全网监控功能，可实时获取分支的链路状态信息，实现全网状态的可视化展示。另外，SD-WAN通过ZTP等方式，可实现分支的快速部署和上线。这种即插即用的部署方式降低了技术门槛，不需要专业网络工程师到现场部署，节省了人力成本。

另外，SD-WAN可以提供不同的运维模式，保证权限控制的最小化；还可以根据不同的岗位角色，设置不同的访问权限。此外，SD-WAN还集成了丰富的故障诊断工具，能够对复杂问题进行快速定界。与传统的企业WAN相比，SD-WAN能够提供自动化、智能化的运维能力，降低管理成本，提高运维效率。

第3章 谋定后动话方案

古语有云：谋定而后动。在展开SD-WAN解决方案的详细设计之前，有必要先从全局出发，确保总体方案、技术选型和商业策略等大方向考虑无误。

本章结合华为近几年SD-WAN的设计实践，对SD-WAN的通用架构和方案原理展开描述，介绍SD-WAN关键产品和组件、关键交互接口与协议以及关键业务流程；同时，围绕运营商转售和企业自建两大模式，探讨SD-WAN的商业模式和方案部署的特点；最后，描绘SD-WAN的解决方案全景图，为后续SD-WAN详细方案的设计做好铺垫。

3.1 SD-WAN的总体方案

3.1.1 SD-WAN的逻辑架构

从逻辑分层及功能角度划分，SD-WAN解决方案的逻辑架构主要包括网络层、控制层以及业务层，每层具备明确的功能边界，所承担的功能不同，其中又包括若干核心组件，如图3-1所示。

1.网络层

从业务角度来说，企业的分支、总部和数据中心以及在云上部署的IT基础设施等都可以统称为企业的站点。不同站点用于WAN互联的网络设备以及中间的WAN一起构成了SD-WAN的网络层。

按网络功能划分，企业SD-WAN可以分为物理网络和虚拟网络两层，且物理网络和虚拟网络彼此解耦，如图3-2所示。

图3-1 SD-WAN分层架构

图3-2 物理网络与虚拟网络解耦

（1）物理网络

物理网络即Underlay网络，如前所述，主要是指运营商提供的各种 Underlay WAN物理专线、MPLS网络及因特网等WAN，由运营商创建和维护。各种物理网络和设备性能通常按照摩尔定律持续演进，不断提供超宽接入、超宽转发的网络能力。

（2）虚拟网络

虚拟网络即Overlay网络，通过引入Overlay虚拟化技术，SD-WAN在物理网络上构建出一张或者多张虚拟的Overlay网络，业务策略被部署在虚拟网络上，与物理网络脱离，从而将业务的复杂度和WAN互联的复杂度解耦。虚拟网络可以有多张，既可以服务于同一租户的不同业务（如多个部门），也可以服务于不同租户，是SD-WAN网络层的核心组网技术。

按网络设备的功能定位划分，SD-WAN的网络层主要由Edge和GW两种类型的网元构成，同时根据业务需要，按需部署VAS（Value-Added Service，增值业务）网络增值设备。

（3） Edge

SD-WAN Edge是企业各种SD-WAN站点的出口CPE。每个站点（含云站点）至少部署一个Edge用于企业站点互联，若出于网络可靠性考虑，一个站点也可以部署两个Edge。每个Edge支持连接一个或多个WAN链路，实现单条或者多条运营商传统专线、MPLS专线以及因特网等链路的灵活组合。

Edge本质上是SD-WAN的边界点，Edge之间通过Overlay隧道技术互联。同时，为了确保企业在WAN上传输的业务的安全性，SD-WAN隧道往往与某种数据加密技术（如IPSec等）结合使用。为了提升企业不同应用在WAN的传输质量和体验，Edge往往还需要具备应用识别和选路、QoS、广域加速以及安全等功能。

Edge一般可以采用传统硬件CPE或者uCPE（universal CPE，通用CPE）设备，公有云上站点的Edge可以部署vCPE（virtual CPE，虚拟CPE）设备。

企业所有的SD-WAN Edge被SD-WAN网络控制器统一纳管，Edge在管理维度上归属于企业租户，并由租户管理员创建、管理和维护。

（4） GW

SD-WAN GW一般是指同时具备连接SD-WAN Overlay 网络能力以及多种传统VPN网络能力的网关设备。比如，由于业务需要，企业新建的SDWAN站点往往要和企业的传统站点或者第三方业务进行互通，企业传统站点是存量网络，采用传统的WAN（如MPLS VPN）技术互联，而SD-WAN站点基于Overlay隧道互联，两者无法直接互通。SD-WAN GW由于同时具备传统网络（MPLS VPN）和SD-WAN Overlay的连接能力，因而可以作为中间网关设备，实现两者的互通。GW在不同的业务场景有不同的角色名称，比如上述与传统站点连接的GW可以被称为IWG（Inter-Working Gateway，互联网关）；与公有云网络对接的GW可以被称为云GW；同时，GW也可以进行功能扩展，彼此互联组建POP网络，这种场景下的GW可以被称为POP GW。

GW本质上可以被看作一种特殊的Edge，也可以被SD-WAN网络控制器统一纳管，且在设备形态、部署方式以及软件特性方面与Edge几乎完全一样。不同之处在于，GW可以被多个企业和租户共享和复用，属于运营商/MSP提供的多租户运营型设备，因而由运营商/MSP的网络管理员来负责创建、管理和维护。

（5） VAS

上述Edge和GW提供了基础的SD-WAN网络互联功能，实现了企业站点和应用的WAN互联互通。除此之外，根据客户业务需求，SD-WAN还可以按需部署VAS。

VAS主要是指防火墙、广域优化等网络增值功能，其在管理维度上是独立的网元。SD-WAN的VAS部署通常包括在uCPE内部部署的VNF网元，或者旁挂在Edge/GW上用于控制安全互访的物理防火墙等，VAS可以是自研的，也可以是第三方的。其中，第三方的VAS管理系统一般由VAS的设备提供商单独提供和部署。

2.控制层

网络控制器是网络控制层的核心产品，是整个SD-WAN解决方案的“智慧大脑”。参考MEF定义的SD-WAN架构[2]，广义的SD-WAN网络控制器一般具有网络编排、控制和管理三大功能。下面围绕这3个功能对SD-WAN网络控制器展开阐述。

（1）网络编排

网络控制器的编排组件负责SD-WAN面向业务的网络模型抽象、编排和配置自动化发放。Gartner认为，在SD-WAN中，所有与网络相关的配置都应该是以企业应用或业务为中心的，一些非网络技术专家人群也可以轻松使用。为了实现这一目标，网络控制器对企业WAN进行了网络模型抽象和定义，并通过建模对用户屏蔽了SD-WAN部署和实现的技术细节。最终，用户可以通过网络控制器北向业务编排界面，用接近企业应用或业务的语言和接口，驱动网络控制器实现简易而又灵活的网络配置和业务自动化发放。

具体来说，SD-WAN的业务编排又可以分为两大类：一类是企业WAN组网相关的业务编排，比如SD-WAN 站点创建、WAN链路创建、VPN创建以及VPN拓扑定义等；另一类是各种网络策略相关的业务编排，比如应用识别、应用选路、QoS以及广域优化策略等。相关的业务模型以及编排方案将在后续章节中详细介绍。

网络编排组件的北向通过RESTful API对外开放能力，编排后的网络配置南向通过NETCONF下发到网络层设备。

（2）网络控制

网络控制器的控制组件负责对SD-WAN网络层进行集中控制，根据用户意图实现企业WAN的按需互联互通，具体功能包括但不限于：SD-WAN租户VPN路由的分发和过滤；VPN拓扑的创建和修改；驱动站点/GW间Overlay隧道的创建和维护等。相比传统网络完全的分布式控制方式，这种集中式的控制实现了企业WAN控制平面和转发平面的分离，简化了企业WAN的网络运维，减少了网络配置出错，提升了企业WAN的运维效率。

同时，为了提升网络扩展性，支持大规模以及跨区域的分支站点互联，网络控制组件需要支持分布式独立部署以及根据网络规模水平平滑扩展。

上述为网络控制组件的逻辑功能，而其实际部署形态可以是多样化的，可以由独立的网络控制器（即通常说的狭义的SD-WAN网络控制器）实现；也可以将传统网络的角色进行进一步的功能增强后，由传统的网络角色来实现，比如由BGP（Border Gateway Protocol，边界网关协议）的RR（Route Reflector，路由反射器）来实现。

（3）网络管理

网络控制器的管理组件实现了企业WAN的网络管理与运维功能，包括但不限于：SD-WAN网元的告警和日志等故障信息采集；基于链路、应用、网络的性能数据采集、统计和分析，并对最终客户进行网络拓扑、故障、性能等运维信息的多维度统计和呈现。管理组件对设备的管理接口协议一般采用NETCONF和HTTP2.0，前者负责网络设备告警、日志和事件等运维信息的采集，后者负责网络设备性能信息的采集。

总结一下，从功能和架构角度，广义的SD-WAN网络控制器具备以下核心特征：

·面向业务的网络编排和自动化发放能力；

·集中的网络控制能力，控制平面和转发平面分离；

·具备传统网管的网络管理能力。

在现实中，很多SD-WAN解决方案提供商的方案都只具备以上的一个或两个特征，比如集中的网络控制能力或者部分的网络编排能力，从严格意义上来说，这些方案都不能被称为真正的SD-WAN解决方案。

需要特别说明的是，上述三大功能是广义的SD-WAN网络控制器的逻辑功能，而具体到实际的产品实现和形态部署，则存在多样性的选择。正如MEF强调的，上述SD-WAN网络控制器的编排、控制和管理组件既可以作为组件融合在同一个网络控制器产品中来实现，也可以各自通过独立的产品形态来实现。其中，前一种情况下的SD-WAN网络控制器可被称为广义的网络控制器，其产品组件单一，部署更加简单，同时为了描述方便，如无特殊说明，本书后面的描述主要基于广义的网络控制器的形态展开。

华为的SD-WAN网络控制器（iMaster NCE-WAN）属于广义的SD-WAN网络控制器范畴，实现了SD-WAN的编排、控制和管理功能，其总体架构如图3-3所示。

图3-3 华为SD-WAN网络控制器的逻辑架构

网络控制器作为华为SD-WAN解决方案最核心的产品组件，还提供了以下关键的功能和质量属性。

·高可靠：基于云计算与分布式架构设计，网络控制器采用“2+1”集群部署方式，确保在单个服务器组件失效的情况下，整个控制器仍然可以工作；同时，该控制器也实现了异地容灾机制，确保在主控制器系统失效的情况下，可以及时切换到备份控制器，从而提供了最高级别的可靠性。

·可运营：运营商/MSP需要运营SD-WAN解决方案去转售和服务于自己的企业用户。面对运营商/MSP市场的可运营和可管理的需求，网络控制器从功能角度提供了多租户管理、开局部署、多租户GW以及QoS等运营商/MSP进行SD-WAN运营所必需的功能；从性能角度，网络控制器提供了大规模的租户管理以及单租户海量网络设备的管理能力，从而确保从规模和可扩展角度，SD-WAN解决方案真正具备可运营的能力。

·云化部署：支持On Premise（本地部署）以及云化部署等多种部署方式，灵活满足用户自建和运营SD-WAN的需求。在On Premise的部署方式下，企业用户自己购买网络控制器，并且一般将其部署于企业的自建数据中心或者私有云上，为该企业独自使用；在云化部署方式下，可以通过虚拟机将网络控制器按需部署在各种主流的公有云上，因而降低了企业基础设施的硬件要求，部署速度更快；此外，也可以由多个MSP复用一套云化的网络控制器，并为各自的企业用户提供SD-WAN管理和运维服务，真正实现SD-WAN管理即服务。

·开放性：网络控制器内置了强大的网络编排引擎，实现了企业WAN组网和业务策略的编排和自动化部署，并且北向提供RESTful接口，通过开放API的方式，满足企业或者运营商客户的BSS/OSS等第三方业务系统的对接需求；同时，网络控制器也可以作为其他网络平台的业务系统，通过调用其他网络开放平台的开放API，进行跨网络平台的业务编排。比如可以调用亚马逊的云计算业务平台AWS（Amazon Web Services）的北向API进行公有云的网络业务编排，实现vCPE的自动拉起和分支连接云等业务。

3.业务层

SD-WAN的业务层向下对接SD-WAN网络控制器，对外通过业务Portal界面实现SD-WAN的业务呈现和发放。业务层一般有两种实现方式。一种是SD-WAN解决方案提供商提供自研Portal界面，该Portal界面中包含了解决方案提供商定义的完整的端到端业务配置和发放流程，可供企业客户直接部署和使用，同时自研Portal也是解决方案提供商对外进行SD-WAN解决方案展示的一种必要的手段。另一种是SD-WAN网络控制器可以通过北向开放API的方式，被运营商或者企业客户自己的BSS/OSS等第三方业务编排系统集成，并由第三方根据自己的业务功能和展示风格需要，进行界面和业务发放流程的定制开发。

3.1.2 关键交互接口与协议

SD-WAN解决方案的各个产品组件之间需要协同运作来共同实现SD-WAN解决方案的各种功能。以网络控制器为核心，SD-WAN有多种接口和协议。

SD-WAN网络控制器南向通过NETCONF和HTTP2.0等管理协议实现对SD-WAN网络层的统一配置和管理；通过BGP或OpenFlow等控制协议实现对SD-WAN网络层的统一控制；北向通过RESTful API可以由第三方业务编排系统集成。同时作为网络编排器，SD-WAN网络控制器也可以通过其他业务系统提供的RESTful接口集成第三方业务。毫无疑问，SD-WAN网络控制器在整个SD-WAN解决方案中处于承上启下的核心位置。

从逻辑功能抽象来看，这些接口和协议可以被认为归属于三类不同的系统通道，即管理通道、控制通道和数据通道，如图3-4所示。

图3-4 SD-WAN解决方案的系统通道

（1）管理通道

管理通道主要是指网络控制器与网络层Edge和GW等网络设备之间用于网络配置和运维的通道。Edge/GW等网络层设备启动后，首先向网络控制器发起注册并建立管理通道。

以网络控制器和Edge之间的管理通道为例，网络控制器通过管理通道向网络设备下发配置，这些配置主要包括SD-WAN网络基础配置、VPN业务参数以及选路、QoS和安全等多种策略配置；此外，网络运维所需要的信息，比如网络设备的告警、日志以及网络流量等性能采集信息也通过该管理通道，由网络设备上报给网络控制器。

从具体的实现来说，网络控制器通过NETCONF给网络设备下发的配置，基于SSH协议承载，可保障数据传输的安全性。同时，网络设备通过HTTP2.0上报性能数据，并通过NETCONF上报告警给网络控制器；网络设备上线注册必须进行双向证书认证；网络设备系统软件和特征库通过HTTPS（HyperText Transfer Protocol Secure，超文本传输安全协议）传输，HTTPS和HTTP2.0协议报文都采用TLS（Transport Layer Security，传输层安全）协议加密处理，以保障数据传输安全。租户或MSP通过HTTPS登录网络控制器，并与网络控制器建立连接，确保租户和MSP以安全的方式接入网络控制器。

（2）控制通道

在管理通道建立之后，网络层设备之间需要进行组网和路由的编排。如前所述，网络控制器具备集中控制的功能，定义和控制网络层的转发平面的拓扑和路由的建立。为此，网络层设备与网络控制器之间还需要建立控制通道。所有网络转发路径相关的策略信息，由网络控制器通过控制通道下发给网络层设备，比如VPN拓扑、路由和隧道信息等。

具体到实现，除了集中控制，控制组件还需要具备根据网络规模水平扩展的能力，控制通道推荐采用MP-BGP EVPN协议实现。为此，在实际部署中，常常引入BGP RR对RR进行功能增强，将RR看作整个SD-WAN控制平面的一部分，实际执行网络控制功能。RR通常采用分布式部署，因而在本书中也被称为区域控制器，与集中的SD-WAN网络控制器协同工作，提供集中的网络控制功能。区域控制器的设备形态可以是独立部署的CPE或者vCPE产品，也可以与已有的SD-WAN站点Edge或GW合设。

（3）数据通道

管理通道和控制通道建立之后，Edge和GW等网络设备之间需要建立数据通道，用于企业不同站点和GW之间的数据传输。数据通道基于Overlay技术构建，且为了保证数据传输时的安全性，需按需进行IPSec加密。

在上述3种系统通道中，管理通道是最先建立的，其对整个系统的初始运转起最关键的作用。此外，管理通道采用的几种新型接口和协议也是传统IP网络所没有的。下面对管理通道的几种接口协议展开详细介绍，后续将对控制通道和数据通道的接口协议展开详细介绍。

简单回顾一下，网络控制器北向与业务层软件之间通过RESTful API实现对接，南向与网络设备通过NETCONF实现交互。为了更好地理解整个SDWAN的系统原理，下面将展开介绍NETCONF、RESTful等关键接口协议的原理，包括在NETCONF中用到的数据建模语言——YANG（Yet Another Next Generation，下一代数据建模语言）模型。

1.NETCONF

随着网络规模的日益扩大以及云计算、物联网等新技术的快速发展，CLI（Command Line Interface，命令行接口）和SNMP（Simple Network Management Protocol，简单网络管理协议）等传统的网络管理方式已经无法满足网络业务快速发放、快速创新的诉求。

CLI是一种人机接口，网络设备系统提供一系列命令后，用户通过命令行接口输入指令，命令行接口对输入的指令进行解析后，执行该配置。由于各设备厂商定义的CLI模型不统一，且CLI缺少结构化的错误提示和输出结果，导致网络管理和维护十分复杂。

SNMP是一种机机接口，由一组网络管理的标准（应用层协议、数据库模型和一组数据对象）组成，用以监控和管理连接到网络的设备。SNMP是目前TCP（Transmission Control Protocol，传输控制协议）/IP网络中使用最为广泛的网络管理协议。由于SNMP是基于UDP（User Datagram Protocol，用户数据报协议）的，在设计上不是面向配置的，因而缺乏有效的安全性和配置事务提交机制，所以多用于性能和监控，不适用于网络设备的配置。

为了解决上述问题，NETCONF应运而生。作为一种新型的基于XML（eXtensible Markup Language，可扩展标记语言）的网络管理协议，NETCONF提供了一套可编程的网络设备管理机制，满足了易用、区分配置数据和状态数据、面向业务和网络进行管理、支持配置数据的导入导出、支持配置的一致性检查、标准化的数据模型、支持多种配置集、支持基于角色的访问控制等网络管理核心诉求。

NETCONF采用客户端（Client）和服务器（Server）结合的网络架构，Client与Server间使用远程过程调用机制通信，消息采用XML编码，支持业界成熟的安全传输协议，且允许设备厂商扩展私有能力，在灵活性、可靠性、扩展性和安全性等方面都达到了很好的效果。结合YANG，该协议可以实现基于模型驱动的网络管理，以可编程的方式实现网络配置的自动化，简化网络运维，加速业务部署。除此之外，NETCONF支持配置事务和配置导入导出，支持部署前测试、配置回滚、配置的自由切换等，因而很好地满足了SDN/NFV等云化场景的需求。

（1） NETCONF的基本网络架构

NETCONF的基本网络架构如图3-5所示，整套系统至少必须包含一个NMS（Network Management System，网络管理系统）作为整个网络的网管中心。NMS运行在NMS服务器上，对设备进行管理。下面介绍NETCONF基本网络架构中的主要元素。

图3-5 NETCONF的基本网络架构

·NETCONF Client：Client利用NETCONF对网络设备进行系统管理。一般由网络管理系统作为NETCONF Client。Client向Server发送<rpc>请求，例如查询或修改一个或多个具体的参数值。Client可以接收Server发送的告警和事件，以获取被管理设备的状态。

·NETCONF Server：Server用于维护被管理设备的信息数据，响应Client的请求并把管理数据汇报给Client。一般由网络设备（例如交换机、路由器等）作为NETCONF Server。Server收到Client的请求后会进行数据解析，并在CMF（Configuration Management Framework，配置管理框架）的帮助下处理请求，然后返回响应至Client。当设备发生故障或其他事件时，Server利用Notification机制将设备的告警和事件通知给Client，向NMS报告设备当前的状态变化。

Client与Server之间先建立基于SSH或TLS等安全传输协议的连接，然后通过Hello报文交换双方支持的能力后建立NETCONF会话，此时，Client即可与Server之间进行交互请求，且网络设备必须至少支持一个NETCONF会话。此外，Client从运行的Server上获取的信息包括配置数据和状态数据，具体操作权限如下。

·Client可以修改配置数据，并通过操作配置数据，使Server的状态迁移到用户期望的状态。

·Client不能修改状态数据，状态数据主要是Server的运行状态和统计信息。

（2） NETCONF协议的结构

NETCONF采用了分层结构，每层分别对协议的某一方面进行包装，并向上层提供相关服务。分层结构使每层只涉及协议的一个方面，实现起来更简单，同时使各层之间的依赖减少，从而使内部实现的变更对其他层的影响降到最小。NETCONF在概念上可以划分为4层，如图3-6所示。

图3-6 NETCONF分层

NETCONF分层描述如表3-1所示。

表3-1 NETCONF分层描述

NETCONF在SD-WAN解决方案的3个典型应用场景如下。

场景一：网络控制器通过NETCONF管理网络设备

下面以Edge向SD-WAN网络控制器注册为例介绍NETCONF的使用，Edge通过DHCP获取地址并接入网络后，会按照图3-7所示的流程与网络控制器建立连接。

具体连接过程如下。

步骤① Edge作为NETCONF Server主动与作为NETCONF Client的网络控制器建立TCP长连接。

步骤② TCP长连接建立成功后，Server与Client创建SSH会话，双向校验证书，建立加密通道。

步骤③ Client与Server通过hello消息相互通告能力集。

步骤④ Client获取Server支持的数据模型文件。

步骤⑤ Client创建事件订阅，此为可选步骤，一般在支持告警和事件上报时才需要。

步骤⑥ Client发起全量同步，使Client与Server的数据保持一致，此为可选步骤。

步骤⑦ Client发起配置或数据查询的rpc请求以及处理对应的rpc-reply。

图3-7 NETCONF对接交互流程

场景二：网络控制器通过NETCONF给设备下发配置

Edge被SD-WAN网络控制器纳管后，网络控制器会编排业务并配置下发到设备。得益于NETCONF模型的驱动性、可编程性以及配置事务的优势，网络控制器支持网络级的配置，可以根据用户建立的网络模型，基于站点和站点模板自动编排业务配置，实现软件定义网络。

场景三：网络控制器通过NETCONF获取设备状态

设备被控制器纳管后，控制器需要展示设备的运行状态，如设备的CPU利用率、内存利用率、ESN（Equipment Serial Number，设备序列号）、注册状态和设备上的告警信息等。网络控制器感知设备状态的方式一般有两种：一种是主动查询，另一种是notification上报。

2.YANG模型

制定NETCONF的时候并没有对操作的数据模型进行定义，而传统的数据建模语言都满足不了NETCONF的要求，因而迫切需要一个新的数据建模语言，且该数据建模语言需具有以下特征：

·与协议机制解耦；

·容易被计算机解析；

·容易学习和理解；

·能够与现有的SMI（Structure of Management Information，管理信息结构）语言兼容；

·同时具备描述信息模型、操作模型的能力。

简单来说，符合上述特征的YANG可用来将NETCONF的操作层和内容层模型化。YANG对任何对象都以树的方式进行描述，这一点可以类比SNMP的MIB（Management Information Base，管理信息库）。MIB 就是用ASN.1（Abstract Syntax Notation One，抽象语法标记1）来描述，但是比SNMP灵活（SNMP把整个树的层级定义得很僵化，因而应用范围比较有限）。此外，YANG宣称可以兼容SNMP。

YANG模型定义了数据的层次结构和基于NETCONF的操作，包括配置数据、状态数据、远程过程调用和通知。YANG模块的读者可以看到数据模型的高级视图，也可以理解数据是如何被编码进NETCONF操作中的。这也是YANG能够迅速成为业界主流建模语言的原因之一。除此之外，YANG是一种可扩展的语言，允许扩展的声明被标准组织、厂商和私人定义。

3.RESTful接口

网络控制器北向与业务层的对接主要通过RESTful API，比如基础网络API、网络策略API以及网络运维API等。REST（Representational State Transfer，表述性状态转移）是一种软件架构风格，其设计概念和准则为：网络上的所有事物都可被抽象为资源；每个资源都有唯一的资源标识，且对资源的操作不会改变这些标识；所有的操作都是无状态的；需使用标准方法操作资源等。如果一个架构符合REST的约束条件和原则，就可称其为RESTful架构。RESTful的理念是更好地使用现有Web标准中的部分准则和约束。

值得说明的是，任何事物，只要有被引用的必要，就可作为资源。资源可以是实体（如手机号码），也可以只是抽象概念（如价值）。要让资源可以被识别，就需要赋予其唯一的标识，在Web中，这个唯一标识就是URI（Uniform Resource Identifier，统一资源标识符），所以HTTP是目前唯一与REST相关的实例。

RESTful API是基于REST设计准则提供的API。外部应用程序可以使用HTTP访问RESTful API，以实现业务下发、状态监控等功能。考虑到安全性，RESTful API仅提供HTTPS接口。

标准HTTP访问管理对象的方法有GET、PUT、POST和DELETE，具体功能说明如表3-2所示。

表3-2 HTTP访问管理对象的操作说明

3.1.3 关键业务流程

在了解前述架构和相关技术的基础上，再来看一下SD-WAN解决方案的系统初始化流程，该流程是整个SD-WAN系统运转的重要基础，如图3-8所示。

图3-8 主要接口和系统初始化流程

SD-WAN系统初始化的关键步骤如下。

步骤① 网络管理员通过网络控制器的Portal界面定义业务，调用RESTful接口通知网络控制器的编排组件进行网络业务的编排。编排和管理的内容包括站点、网络拓扑、VPN划分以及各种业务策略（如选路、QoS、安全等）。为了支持网络拓扑的自动编排和发放，网络控制器内部可以实现多种拓扑的编排和发放。

步骤② 区域控制器上线，向网络控制器注册。网络控制器为区域控制器分配全局唯一的管理IP（Router ID），网络控制器通过该管理IP对区域控制器进行标识和管理。

步骤③ 网络设备上线，向网络控制器注册。网络控制器为网络设备分配设备管理IP（Router ID），该管理IP用于网络设备的标识和管理，同时网络控制器根据获取的网络设备信息（如地理位置、WAN接口、IP地址等）为网络设备分配区域控制器。网络控制器自动配置网络设备到区域控制器的管理路由，随后配置每个网络设备到区域控制器的路由邻居［一般为MP-BGP（MultiProtocol BGP，BGP多协议扩展）］。

步骤④ 网络设备向区域控制器注册。网络设备使用安全的通信协议——DTLS协议向区域控制器注册，网络设备携带网络WAN接口和IPSec SA（Security Association，安全联盟）等信息通知区域控制器，区域控制器将自身的WAN接口信息和IPSec SA信息反向通知给网络设备。在网络控制器的管理下，区域控制器和网络设备之间建立控制通道（如MP-BGP）。

步骤⑤ 网络控制器对网络管理员定义的面向业务的策略进行编排后，通过NETCONF接口通知给区域控制器。

区域控制器基于网络管理员定义的策略，进行站点之间的VPN拓扑、路由和隧道信息的分发等，使不同的站点之间实现安全的、按需的互联。

3.2 SD-WAN的商业模式

3.2.1 商业角色的定义

从端到端的流程看，SD-WAN解决方案从设计、开发到最终使用，涉及多个角色的参与，且SD-WAN解决方案面向不同的客户，也有不同的商业模式，具体如图3-9所示。

图3-9 SD-WAN解决方案的角色与商业模式

1.SD-WAN解决方案提供商

SD-WAN解决方案提供商是通常意义上的设备供应商（Vendor），主要提供完整的SD-WAN解决方案和产品，通常包括网络控制器以及网络层边缘设备和网关设备，设备形态通常包括传统的硬件形态设备和软件虚拟化形态设备。

从业界来看，SD-WAN解决方案提供商主要包括三类，具体如下。

·第一类是传统的网络设备厂商，包括基于传统的企业WAN产品和方案，又演进出提供SD-WAN解决方案的厂商，如华为、思科以及Juniper等。

·第二类是传统的广域优化厂商以及传统的WAN领域安全厂商，包括对其现有产品进行改造和升级、也宣称对外提供SD-WAN解决方案的厂商，如传统广域加速厂商SilverPeak、Riverbed，传统安全厂商Fortinet等。

·第三类是专注于提供SD-WAN解决方案的新兴公司，如Velocloud、Versa等。

2.SD-WAN解决方案的最终用户

企业是SD-WAN解决方案的最终用户。企业分类的依据多种多样，比如根据网络规模、经济规模以及行业属性等进行分类。不同类别的企业客户呈现出不同的行业特点和业务诉求。比如根据网络规模、经济实力和地域的跨度等，可将企业分为中小型企业、大型企业以及跨国企业，可供参考的划分定义如下。

（1）中小型企业

中小型企业一般分支数量少，只有数个甚至1个分支站点，其主要业务特点如下。

·人员规模低于100人，站点规模低于10个，年销售规模低于1000万元。

·对WAN专线的成本敏感，WAN方面无专门的IT运维人员，需托管给第三方。

·分支互访简单，主要为南北向流量，即分支到总部或者数据中心。

·有基本的安全诉求，边缘设备内置的安全特性即可满足。

·有访问SaaS应用的诉求。

·维护诉求主要包括简单的告警、监控与可视化。

·分支站点需即插即用。

（2）大型企业

大型企业数量巨大，分布在金融业、制造业以及商业等多个不同的行业，其主要业务特点如下。

·站点规模为10～1000个，年销售规模高于1000万元。

·一般有MPLS等运营商专线，希望通过引入因特网来降低专线成本。

·存在单层和分层网络拓扑，存在南北向和东西向互访流量。

·有访问公有云/SaaS的诉求。

·希望部署广域优化以提升应用体验。

·集中运维与可视化。

·分支站点需即插即用。

（3）跨国企业

跨国企业是地域跨度比较广的大企业，其业务一般跨越多个国家和地区，因而对WAN的网络建设和业务承载体验都有比较高的要求，其主要业务特点如下。

·站点规模为10～1000个，分布于全球。

·希望高价值流量由MSP提供的跨全球专线网络承载。

·希望部署广域优化以提升应用D体验。

·集中运维与可视化。

·分支站点需即插即用。

企业的分类有助于归纳和理解企业的业务特点以及企业业务对SD-WAN的核心诉求。

3.SD-WAN服务提供商

SD-WAN服务提供商通常包括运营商和MSP，即负责转售SD-WAN解决方案的中间商。由于运营商和MSP拥有众多的企业客户，在2B市场有相当大的存量，因而很多企业客户也习惯于从运营商处获取WAN线路、设备以及企业WAN的建设和运维服务。在SD-WAN时代，这种运营商/MSP代维代建的模式仍将存在，并且借助SD-WAN解决方案良好的可运营和可服务性，将继续发扬光大。

3.2.2 运营商/MSP转售模式

运营商负责经营WAN专线和因特网业务，其企业的业务部门发展了很多企业用户。因此，转售SD-WAN服务给该类数量巨大的企业用户，成为运营商的新的潜在的业务增长点。MSP类似于运营商，负责WAN连接服务的提供，无论其是否具备自建的WAN，SD-WAN服务同样可以作为一种新型的托管服务进行转售，从而成为MSP潜在的新业务增长点。

由于SD-WAN服务需转售给众多的企业用户，同时运营商/MSP需要代维代建企业的SD-WAN，对SD-WAN解决方案又新提出了如下诉求。

（1）支持多租户管理

运营商/MSP同时管理多个企业的网络，如果每个企业是一个租户，一套SD-WAN网络控制器同时管理多个租户，则称这种方式为管理的多租户；如果运营商/MSP将单个网络设备分享给多个不同的租户使用，则称这种方式为设备的多租户。

（2）支持IWG

IWG即互通网关，是SD-WAN网关的一种。IWG的主要功能是用于实现企业新建SD-WAN站点与传统MPLS网络站点的互通。IWG通常作为运营商/MSP转售SD-WAN的服务出现，因此IWG一般是多租户共享设备，由运营商/MSP来负责创建、管理和维护。

（3）支持POP组网

运营商/MSP利用已有的骨干专线网络提供差异化的SD-WAN服务，通过在骨干网边缘部署POP GW，借助SD-WAN在企业的分支Edge与POP GW之间构建Overlay隧道来穿越第三方运营商的WAN，从而接入运营商/ MSP的骨干网。运营商/MSP正是通过这种灵活的、低成本的WAN接入方案，来吸引企业客户的流量进入骨干网。POP GW也是多租户的设备，为多个企业所共享，由部署和扩展性都很灵活的软件Edge来承担，并由SD-WAN解决方案管理和控制。

（4）支持VAS

为了满足企业用户在安全、广域优化等网络增值业务方面的诉求，运营商要提供灵活定义和按需发放的VAS运营能力。

（5）支持IPv6

随着IPv4地址的枯竭，运营商正在加速推进WAN IPv6化，因而SD-WAN解决方案需要具备支持IPv6的能力。

（6）支持北向开放API与被集成

运营商往往有自己的BSS/OSS业务系统，需要网络控制器北向开放API来被运营商的BSS/OSS集成。

简而言之，除企业自身的需求之外，SD-WAN服务提供商转售的SD-WAN解决方案又增加了可运营的管理、网络连接以及增值服务等方面的诉求，因而其组网和场景需求进一步多样化。

3.2.3 企业自建模式

具备一定规模和经济实力的企业，往往直接从SD-WAN解决方案提供商处购买SD-WAN解决方案，并自己部署和运维SD-WAN。比如，某银行从SD-WAN解决方案提供商处购买了网络控制器和网络设备，并且将网络控制器安装在自己的数据中心或者私有云中，用于站点互联的WAN线路仍然从运营商处购买，但由银行独立管理和运维SD-WAN。

相比运营商/MSP转售模式，企业自建场景的SD-WAN特性满足了基于因特网和传统专线的混合组网、应用选路、灵活访问因特网、集中运维和管理等企业自建需求，而运营商/MSP转售模式下的多租户等需求，不是企业自建模式的重点需求。

3.3 SD-WAN解决方案全景

无论从功能范围还是架构设计角度看，SD-WAN无疑都是一个复杂的解决方案。因此，有必要对SD-WAN解决方案进行进一步的分解，化整为零、化繁为简，使得在勾勒出完整全景图的同时，也精确地划分出各个关键功能子方案和支撑系统。

结合企业WAN的总体业务特点和对SD-WAN核心需求的分析，并综合考虑总体方案设计的聚焦性和简洁性，SD-WAN解决方案最终可被划分为组网子方案、应用体验子方案、安全子方案以及运维子方案四大子方案，此外，网络控制器是最重要的基础支撑系统，如图3-10所示。

图3-10 SD-WAN解决方案全景

SD-WAN解决方案的四大子解决方案的功能范围以及设计目标定义如下。

（1）组网子方案

SD-WAN的首要功能目标是实现企业WAN灵活和可靠的组网。组网子方案的工作原理就是基于混合WAN链路，以Overlay网络为基础，融合二层交换、三层路由以及VPN隔离等传统网络技术，在SD-WAN网络控制器的管控下实现企业分支、数据中心以及云之间按需、灵活的自动化连接。

组网子方案从功能上又可以分为基础网络与网络业务两大部分，其中，基础网络包括Overlay组网、Underlay组网、可靠性、组网自动化等几个基础的网络技术部分。在基础网络技术的支撑下，SD-WAN可以实现更高级的网络业务功能，比如访问因特网、VPN隔离、与传统站点互通、访问公有云以及POP组网等功能，如图3-11所示。

图3-11 组网子方案

基础网络具体包括以下内容。

·Overlay组网。SD-WAN组网主要基于Overlay技术构建，用于连接各种类型的站点。Overlay技术主要是面向企业站点的WAN侧，需要支持专线、MPLS、因特网和LTE等多种WAN连接技术的混合WAN。

·Underlay组网。Overlay需要借助Underlay网络实现互通，Underlay组网主要是指SD-WAN网络设备Edge和GW如何与Underlay网络互联，Underlay网络需要支持混合WAN，支持多元化WAN链路的网络开通。

·可靠性。组网可靠性对于承载的业务至关重要。组网可靠性主要解决网络级别的可靠性以及站点级别的可靠性问题，在网络出现线路、设备故障的时候，能够有可用的备选路径，并且可以进行快速的路由收敛，以保证对承载的业务体验不产生影响或者减少影响至可接受的范围。

·组网自动化。网络编排是实现组网自动化的核心技术手段，网络编排会使工作流程自动化，使网络服务能够在多个设备上进行配置，并且可以根据需要部署资源，从而使网络更加灵活、响应更加快速。

网络业务具体包括以下内容。

·访问因特网。支持站点通过本地上网、集中上网以及上述两种方式混合上网等3种方式，以满足不同类型企业访问因特网的需求。

·VPN隔离。企业内部通常有多个不同的部门，且各部门的业务互相独立，因而网络也需要进行安全隔离。这就要求SD-WAN支持端到端的VPN隔离，从站点的Underlay组网到WAN侧的Overlay组网，再到面向用户的LAN侧网络，都需要进行网络的逻辑隔离，以保证不同的部门转发独立，互相不能访问，从而实现不同部门业务的安全隔离。

·与传统站点互通。在SD-WAN出现之前，已经有很多的传统的非SDWAN站点存在，这些传统的企业站点通常是通过运营商MPLS专线进行互联的，因此，企业新建的SD-WAN站点需要和这些传统站点进行互通，以保证企业WAN业务的正常运行。

·访问公有云。公有云的流行使企业连接公有云变得急迫。在SD-WAN解决方案中，企业在云中的VPC（Virtual Private Cloud，虚拟私有云）被定义为一个云站点，借助网络控制器集中的网络编排和控制，来实现企业分支站点到公有云站点的按需、自动化的连接。

·POP组网。很多MSP具备自己的跨区域骨干网，但是不具备“最后一公里”的接入网，通过建设POP组网，使POP GW通过POP骨干网实现互联，并由网络控制器进行纳管；使分支站点通过SD-WAN隧道接入POP GW，从而通过POP组网实现企业分支站点以及到公有云等业务的高质量互联。

（2）应用体验子方案

应用体验子方案主要是以应用体验为核心，通过SD-WAN网络设备实时监控WAN网络质量，根据应用对WAN链路的SLA诉求，实时调整和优化应用的路径。应用体验子方案主要包含应用识别、网络质量监控以及基于应用的智能选路等技术，此外，广域优化也是重要的技术手段。

·基于应用的智能选路。混合WAN中不同的链路具有不同的网络质量，同时，企业应用也有高价值应用和一般应用之分，不同类型的应用对于网络质量的诉求不同。在统一策略管理下，设备通过引入基于应用的智能选路能力，可以根据应用对网络的SLA诉求，实现不同应用到不同SLA的WAN链路的映射，从而有效提升网络链路的使用效率，提升企业客户的应用体验。另外，不同应用具有不同的优先级，希望在线路拥塞时优先保证高优先级的应用，且希望充分利用高价值链路，基于应用优先级的负载均衡选路可满足上述需求。

·广域优化。提升链路的传输效率，一方面要最大效率地利用已有WAN链

路的带宽，提升网络的传送效率；另一方面要在网络传送质量发生劣化时，比如出现丢包的情况时，仍然能够保证应用的体验。因此，广域优化技术的部署尤为重要。（3）安全子方案

安全是SD-WAN的重要诉求。由于因特网逐渐成为SD-WAN主要的组网技术之一，以及越来越多的企业开始使用基于因特网的应用，如分支站点上网以及企业通过因特网访问SaaS业务等，这些都给企业部署SD-WAN后的系统安全和业务安全带来了新的、巨大的挑战。

SD-WAN基于零信任的原则，从网络控制器的安全、企业在WAN传输的数据安全以及用户访问因特网的业务安全等多个安全角度全面考虑，构建全方位的SD-WAN安全防护体系。

（4）运维子方案

运维是SD-WAN的基础特性，是整个SD-WAN解决方案保持正常运转的重要保证。运维子方案详细描述了Day 0/1/2运维生命周期中不同阶段的主要活动，包括在系统运行中提供告警、链路和应用的状态等关键信息的监控和可视化，以提升企业WAN的运维效率。

同时，运维方案还提供了网络性能的数据采集、监控分析以及可视化功能，用户可以监控网络的SLA质量、高价值应用的流量以及带宽统计的可视化结果。

运维子方案还提供了故障定位功能。网络控制器可以结合网络的关键告警和日志信息，以及Ping、TraceRoute等传统诊断工具的执行结果，分析网络故障的原因并给出故障排除建议；还可以结合大数据分析技术，提出预防性的故障定位和预警方案，从而有效提升WAN的运维效率。

网络控制器是SD-WAN的基础平台，作为基础支撑系统，它有力支撑了上述SD-WAN解决方案中四大子方案的可靠运转。因此，网络控制器需要具备良好的可靠性、可扩展性、安全性以及高性能等，这些主要涉及基于网络控制器单产品的构建，本书对此不详细展开。

在介绍了方案全景图和子方案划分后，本书后续部分将按图索骥，围绕四大子方案，对SD-WAN的原理和实现进行详细的阐述。

第4章 九层之台起于站点

通过前几章的介绍，相信大家已对SD-WAN解决方案的架构、基本组件、运转机制和方案全景都有了一定的了解。如果把部署SD-WAN解决方案比作建造一座楼阁的话，了解SD-WAN解决方案相当于完成了图纸的方案设计，接下来就该具体部署了。

万丈高楼平地起，部署SD-WAN要先从基础开始。站点（Site）就是SD-WAN的基础，正所谓九层之台起于站点，只有站点牢固可靠，才能连站点而成网络。本章主要介绍站点的相关内容。

4.1 站点类型

在企业WAN中，“站点”是一个比较宽泛的概念。通常情况下，站点指的是企业的办公场所或者关键IT设施的部署点，例如，企业分布在不同地理位置的分支机构是一种站点，企业的总部、数据中心同样也是一种站点。企业搭建WAN的最根本目的就是要把各个站点连接起来，以实现站点之间的互联互通，进而开展各项业务。

从技术实现角度看，SD-WAN解决方案将站点分为两种类型：SD-WAN站点（SD-WAN Site）和传统站点（Legacy Site）。了解这两类站点的概念和特点，将有助于更好地理解站点间的互联互通。

（1） SD-WAN站点

SD-WAN站点指的是由SD-WAN网络控制器纳管并进行业务编排，通过SD-WAN技术实现互联互通的站点。在企业的总部、分支以及数据中心中，只要是被SD-WAN网络控制器纳管并通过部署SD-WAN来实现互联互通的站点，都可以被称为SD-WAN站点。

除了企业的总部、分支及数据中心的站点外，还有一种形态的站点也很重要。在云化趋势的大背景下，企业的业务逐渐向云端（如公有云）迁移。从某种意义上说，云就是企业网络的延伸。无论是企业的总部还是分支，都要和公有云进行互联互通。所以从这个角度看，企业的公有云也可被看作一种特殊的站点，即云站点（Cloud Site）。

云站点有其特殊性，站点中包含大量的VM（Virtual Machine，虚拟机），且VM里运行着各种应用。云站点的网络环境和企业总部或分支网络有很大的差别，因此，把公有云归属到站点形态后，还需要考虑它独特的互联互通方式，后续章节将详细介绍。

（2）传统站点

传统站点指的是非SD-WAN站点，这类站点没有被SD-WAN网络控制器纳管，而是采用传统的网络技术来实现站点间的互联。例如，传统站点通过PE（Provider Edge，服务提供商网络的边缘设备）接入MPLS网络中，通过MPLS VPN实现站点间的连接。

传统站点没有应用SD-WAN技术，因而严格地说不属于SD-WAN的范畴，但是它与SD-WAN站点之间也有相互通信的需求，后续章节将详细介绍SD-WAN站点与传统站点间的通信方式。

4.2 CPE是站点“代言人”

为了实现SD-WAN站点间的互联互通，需要部署实际的网络设备，也就是在上一章中提到的边缘设备。当然，这种边缘设备还有一个更为通用的名字，那就是CPE，即客户终端设备。从某种意义上说，CPE就代表着站点，是站点在网络设备层面的具体体现。

不同的SD-WAN站点其业务需求也不相同，CPE若想更好地代表站点，除了自身形态要匹配站点的业务模型外，还要适配站点的网络环境，从而更好地为站点服务。

4.2.1 CPE的形态

1.硬件形态

CPE作为一种网络设备，最早是以硬件盒子的形态部署于站点中。从硬件角度来看，CPE中通常会包含主板、接口卡、多核CPU以及各种硬件组件。从软件功能的角度来看，CPE会提供二层交换和三层路由的功能以用于连接站点的内网和外网。一般把以上这种CPE称为传统CPE（Traditional CPE）。需要注意的是，这里的传统CPE是相对于CPE的形态而言的，不是指传统站点中才用到CPE，这一点不能混淆。

随着企业业务类型的增加，基本的路由转发功能已经不能满足企业的业务需求，企业需要部署安全、广域加速、负载均衡等业务。然而这些业务的使用均需要购买相应的专有硬件设备，进而导致业务部署的过程非常复杂，且多种类型的设备也不便于维护。

随着云计算和NFV技术的发展，云化和虚拟化成为不可阻挡的趋势，传统的专有硬件设备都已经具备了软件化的形态，安全、广域加速、负载均衡等功能则可以通过VNF的形式提供。如果能将这些功能都装进CPE，则既能降低设备的成本和能耗，又能实现灵活快速的业务发放。

这样就产生了一个新的CPE形态——uCPE。虽然uCPE仅是一个硬件的盒子，但是防火墙、广域加速、负载均衡等网络功能都以VNF的形式运行在uCPE中。uCPE的架构如图4-1所示。

图4-1 uCPE架构

把上述网络功能都装进uCPE后，就必须要考虑两个问题：一是这些网络功能如何部署，二是这些网络功能如何工作。

先来看第一个问题，在SD-WAN解决方案中，网络控制器作为“大管家”，可以把这些VNF形式的网络功能都安排妥当。网络控制器会对这些VNF进行生命周期管理，以实现业务的快速发放，从而帮助企业用户获得按需随取的网络服务。

再来看第二个问题，uCPE中的网络功能在逻辑上是以独立的形态存在的，那么这些网络功能如何处理进入uCPE的业务流量呢？要解决这个问题还是要依靠网络控制器来统筹。网络控制器通过编排业务链来对业务流量进行处理。所谓业务链，指的是按照业务流量诉求把多个VNF功能串联在一起，且不同的业务流量可能经过不同的网元。

如图4-2所示，从LAN侧接口进入uCPE的业务流量依次经过vFW和vWOC的处理后，从uCPE的WAN侧接口发出。同理，从WAN侧接口进入的回程业务流量也是经过业务链的处理后从LAN侧接口发出的。

图4-2 uCPE内部的业务链

2.软件形态

企业业务逐步向云上迁移，这就要求承载业务的网络设备也要与时俱进，向软件化、虚拟化的方向发展。在这种背景下，传统CPE又演进出了新的形态。

把传统CPE中的网络功能从硬件盒子中抽离出来，通过纯软件的方式来实现，使软件与硬件彻底解耦的新CPE形态被称为vCPE。vCPE可以代替专用的硬件设备，并通过软件的方式来实现传统CPE的功能。该方式有利于更轻松、更快速地部署业务，同时增强了业务的可伸缩性和可扩展性，降低了部署和运营成本。

由于没有硬件盒子的束缚，部署vCPE可以像安装软件一样灵活，能够以VNF的形式运行在通用服务器、公有云以及uCPE中，如图4-3所示。

图4-3 vCPE运行场景

综上所述，在SD-WAN解决方案中，CPE可以是硬件形态的传统CPE和uCPE，也可以是软件形态的vCPE。这几种类型的CPE虽然名字相似，但是使用场景不尽相同。例如，传统CPE和uCPE可以部署在企业总部及分支和数据中心站点，vCPE则可以部署在公有云站点，如图4-4所示。实际部署时，可根据站点的组网环境和业务需求灵活选择CPE的形态。

图4-4 不同形态的CPE部署

4.2.2 CPE连接站点内外

图4-5 CPE连接站点的内网和外网

CPE作为站点的交通枢纽，其作用主要体现在对内和对外两个方面，对内指的是CPE连接站点的内网，对外指的是CPE连接站点的外网，如图4-5所示。

为了描述CPE对内和对外两个方面的连接情况，这里再次提及WAN和LAN。将CPE对外的一侧称为WAN侧连接，CPE对内的一侧称为LAN侧连接，CPE在WAN侧和LAN侧的连接情况各不相同，具体如下。

WAN侧的连接情况是：SD-WAN解决方案支持混合WAN链路，即站点可以通过多种类型的链路接入WAN，所以CPE的WAN侧连接主要考虑的是多种类型链路的接入以及CPE对不同类型接口的支持情况。

LAN侧的连接情况是：CPE的LAN侧所面对的就是站点的内网，通常CPE会作为站点内网的网关，内网发送到WAN的流量都会经由CPE转发，因此，CPE的LAN侧连接要考虑是使用二层连接还是三层连接的方式，以及CPE的可靠性问题。

以下分别介绍WAN侧和LAN侧的具体连接方式。

1.WAN侧连接

图4-6 CPE的WAN侧连接1条链路

图4-7 CPE的WAN侧连接2条链路

CPE的WAN侧连接主要考虑多条链路接入WAN的情况，这是因为混合WAN链路是SD-WAN解决方案的基本特征之一，且多条链路也为站点间的互联互通提供了更多的选择。根据站点所处的网络环境的实际情况，CPE的WAN侧连接有多种方式，下面将从简入繁，依次分析。

（1）单站点单WAN链路

站点只通过MPLS链路或只通过因特网链路接入，如图4-6所示。在该场景中，CPE的WAN侧连接比较简单，仅通过1条链路连接到MPLS网络或因特网即可。

（2）单站点双WAN链路

站点通过MPLS网络和因特网接入WAN，对于CPE来说，其WAN侧有两个接口分别连接MPLS链路和因特网链路，如图4-7所示。

（3）单站点多WAN链路

在两条链路的基础上，再增加一条链路，形成多WAN链路的接入方式。由于多一条链路就多了一种选择，因而在可靠性方面也多了一份保障。例如，在已有的MPLS链路和因特网链路的基础上，在CPE的WAN侧再增加一条LTE链路，如图4-8所示。

通常情况下，LTE链路按流量收费，且一般作为逃生链路来使用。所谓逃生链路，是指最后的生存链路，其优先级最低，只有当主备链路全失效时，流量才会通过逃生链路进行转发。逃生链路的存在为业务保留了最后的一线生机，在一定程度上提高了站点的可靠性。

（4）单站点双CPE

从设备可靠性的角度来考虑，站点中如果仅有单台CPE，则存在单点故障的风险，也给站点的稳定性带来了隐患。如果仅有的单台CPE发生故障，整个站点就失去了对外的代表，也就无法与外界通信。

SD-WAN解决方案支持在站点中部署两台CPE，形成单站点双CPE（网关）的组网，如果其中一台CPE发生故障，另一台CPE可以接替其工作，这样就保证了站点的可靠性。

如图4-9所示，站点中有两台CPE，每台CPE的WAN侧可以分别连接MPLS网络和因特网，共2条链路，或者分别连接MPLS网络、因特网和LTE网络，共3条链路。

图4-8 CPE的WAN侧连接3条链路

图4-9 单站点双CPE的WAN侧连接

需要注意的是，在单站点双CPE的组网中，两台CPE之间通常也会进行互联，并通过互联链路转发业务流量以及同步业务信息。双CPE之间互联的具体实现方式相对来说比较复杂，在下文中会详细介绍。

2.LAN侧连接

CPE在LAN侧面对的是站点的内网，其具体的连接情况与站点内部的实际网络环境相关。通常情况下，CPE会作为站点内网的网关，此时，CPE是通过二层方式还是三层方式与站点内网连接，是LAN侧连接要考虑的主要问题。下面分别介绍二层方式和三层方式。

（1）二层方式

如果站点的规模较小，内网结构比较简单，CPE就可以通过二层方式连接站点的内网，如图4-10所示。

图4-10 CPE的LAN侧二层连接

CPE的LAN侧二层连接场景中的各个连接方式的简要介绍如下。

方式一：站点中只部署了一台CPE，CPE可以直接连接站点内的二层交换机。

方式二：站点中只部署了一台CPE，CPE可以通过WLAN（Wireless Local Area Network，无线局域网）方式直接连接站点内的主机或终端。

方式三：站点中部署了两台CPE，CPE与站点内的一台二层交换机相连。通常两台CPE上会部署VRRP，使用VRRP虚拟地址作为站点内网的网关地址，以提高网络的可靠性。

方式四：站点中部署了两台CPE，CPE与站点内的两台二层交换机相连。同样，两台CPE上会部署VRRP，以提高网络的可靠性。

（2）三层方式

对于规模较大的站点，由于其内部有着较复杂的网络结构，因而CPE会通过三层方式连接站点的内网，并根据站点内网的实际情况配置相应的路由协议，以实现与站点内设备的互通，如图4-11所示。

图4-11 CPE的LAN侧三层连接

CPE的LAN侧三层连接场景中的各个连接方式的简要介绍如下。

方式一：站点中只部署了一台CPE，CPE可以直接连接站点内的三层交换机，并通过路由协议实现互通。

方式二：站点中部署了两台CPE，CPE与站点内的三层交换机相连，并通过路由协议（如静态路由、OSPF、BGP等）实现互通。

方式三：站点中部署了两台CPE，CPE与站点内的两台三层交换机相连，并组成口字形组网。此外，CPE也要根据站点内网的实际情况配置相应的路由协议，如静态路由、OSPF、BGP等，以实现互通。

方式四：站点中部署了两台CPE，CPE与站点内的两台三层交换机相连，并组成双归组网。同样，CPE与三层交换机要配置路由协议，如静态路由、OSPF、BGP等，以实现互通。

在用三层方式连接站点内网的场景下，为了避免路由环路，在配置路由时要遵循一定的原则，例如，LAN侧学习到的路由，不再向LAN侧发布等。通常情况下，路由原则会由网络控制器自动编排，网络管理员无须干预。

4.2.3 CPE互联构建双网关

为了提高站点的可靠性，通常会在站点中部署两台CPE，形成单站点双CPE（即单站点双网关）的组网场景，以避免单台CPE故障导致的站点业务中断。

在单站点双CPE的组网场景中，主要存在应用识别、应用选路、站点级QoS、广域优化等业务方面的挑战，如图4-12所示。

图4-12 单站点双CPE组网场景面临的挑战

（1）应用识别。对于有些应用，CPE需要综合分析该应用的上下行流量才能将其准确识别。如果应用的上行流量和下行流量经由站点内不同的CPE转发，则CPE将无法识别该应用。

（2）应用选路。站点内每台CPE可能连接多条不同的链路，两台CPE无法获取对方设备上所有链路的SLA，因而无法进行应用选路。

（3）站点级QoS。对站点部署的QoS进行流量限制时，两台CPE无法获取对方设备上流量的带宽信息，因而无法准确限制站点的总流量。

（4）广域优化。对TCP流量进行广域优化时，CPE需要接收TCP流量的ACK报文，如果TCP流量来回路径不一致，则会导致TCP流量中断。

为了解决这些挑战，在单站点双CPE的组网场景中，不能从单设备的角度部署业务，而是要从站点的角度出发，将站点内两台CPE上的链路作为一个整体考虑，统一供两台CPE使用。

因此，在SD-WAN解决方案中，要将两台CPE看作一台设备，且两台CPE之间要通过互联链路连接起来，通过互联链路同步关键信息以及转发业务流量，如图4-13所示。

图4-13 单站点双CPE间的互联链路

（5）信息同步。互联链路的作用之一是同步两台CPE上的关键信息，包括路由信息、链路信息、隧道连接信息、隧道连接的SLA信息、流量带宽信息、应用识别结果信息等。同步这些信息后，两台CPE上的业务信息达成一致，因而可统一看待两台CPE上的资源，以实现站点级QoS、跨CPE选路等业务场景。

（6） 流量转发。互联链路的另一个作用是在两台CPE之间重定向业务流量，以实现跨CPE的流量转发。例如，假设CPE1连接MPLS链路，CPE2连接因特网链路，针对应用A配置了选路策略，要求其流量要经过因特网链路转发。此时，如果应用A的流量到达CPE1，那么CPE1会根据选路策略将该流量通过互联链路转发至CPE2，然后再从CPE2的因特网链路发出。此外，通过互联链路进行流量重定向，也可以解决应用识别和广域优化场景中应用的来回流量路径不一致的问题。

4.3 CPE的关键能力

从功能和性能的角度看，CPE的演进过程大致分为3个阶段，从功能单一的传统CPE发展到多业务处理的融合CPE，再到高性能转发的SD-WAN CPE，如图4-14所示。

图4-14 CPE演进过程

以下对CPE演进过程的3个阶段进行详细的介绍。

（1）传统CPE

传统CPE具备基本的路由能力，通常传统CPE只是作为网关设备，提供路由转发功能，起到连通站点内外网的作用。

（2）融合CPE

在传统CPE能力的基础上，融合CPE集成了Wi-Fi、QoS、VPN、防火墙等功能，提供多业务综合处理能力。

（3） SD-WAN CPE

除了基本的路由、交换能力之外，SD-WAN CPE还应提供以应用为核心的业务处理能力，提供应用识别、智能选路、多种VPN、QoS、安全等业务功能，这就要求SD-WAN CPE必须具备高性能转发能力。此外，为了适配不同的WAN接入环境，SD-WAN CPE还需具备多样化接入能力。以下对高性能转发能力与多样化接入能力进行详细的介绍。

1.高性能转发能力

从传统的企业WAN发展到SD-WAN，CPE的性能瓶颈是制约SD-WAN规模化商用部署的关键因素。如图4-15所示，传统CPE进行WAN连接时，其“日常”工作主要是进行一层～三层报文转发处理，如路由、QoS、VPN等；而SD-WAN CPE的“日常”工作是以应用为核心的三层～七层全业务处理，提供应用识别、多场景连接、动态链路调整、VPN&多VAS、简化运维等不同功能，保障业务无拥塞。

图4-15 CPE需要突破的性能瓶颈

SD-WAN CPE必须要突破性能的瓶颈，具备三层～七层全业务高性能处理能力，这对CPE的系统架构提出了很高的要求。通常，高性能的SD-WAN CPE应基于多核CPU和NP构建无阻塞交换架构，具备多种硬件加速能力，以保证业务处理无瓶颈。典型的SD-WAN CPE系统架构如图4-16所示。

高性能SD-WAN CPE的系统架构应具备如下特点。

（1）基于多核CPU+NP异构架构

异构架构指的是多种计算单元的搭配、集成和融合。通常情况下，异构架构的芯片中既有CPU等传统的通用计算单元，也有高性能的专用计算单元。SD-WAN CPE的系统架构就是由多核CPU和专用的计算单元NP组成的异构架构。

图4-16 典型的SD-WAN CPE系统架构

多核CPU指的是在一枚处理器中集成多个完整的计算引擎，即内核。每个内核都具有独立的逻辑结构，包括缓存、执行单元、指令级单元和总线接口等逻辑单元，且这些内核间通过高速总线、内存共享进行通信。多核CPU实现了多个内核并发处理，大幅提升了CPU的整体处理能力。同时，通过专有的包调度和队列引擎提高了四层～七层业务流量的处理效率，保证多核业务处理不会拥塞。

NP是一种专门应用于通信领域网络数据包处理的可编程器件，它融合了CPU的灵活性和ASIC（Application Specific Integrated Circuit，专用集成电路）的高性能特点，具有很强的硬件并行处理能力。在系统架构中引入独立的NP以实现硬件转发，支持一层～四层流量卸载，即可将一层～四层流量从CPU分流到NP进行处理，从而减轻CPU的负担，提升整体的转发能力。

基于多核CPU+独立NP的异构架构使CPU和NP之间协同计算、彼此加速，从而突破CPU的性能瓶颈，有效解决了能耗、可扩展性等问题，并且增强了CPE的处理性能，是实现高性能SD-WAN CPE的基础。

（2）丰富的硬件加速引擎

除了多核CPU+NP的异构架构，高性能的SD-WAN CPE还应内置丰富的硬件级智能加速引擎，如IPSec加速引擎、应用识别加速引擎、HQoS加速引擎和ACL加速引擎等。有了这些加速引擎后，就可以将计算量非常大的工作分配给加速引擎来处理，以减轻CPU的工作量。通过硬件加速引擎来有针对性地完成大量计算工作的优势非常显著，可以提升整体的处理性能，保证在关键业务高并发时处理性能不会下降。

2.多样化接入能力

SD-WAN进入市场实施期后，业界从关注“SD”（软件定义）发展到聚焦“WAN”部署细节。在这个背景下，CPE的WAN侧接入能力就显得尤为重要，这也是CPE实现灵活组网的前提。

WAN协议有很多种，不同站点的网络环境所支持的接入方式也各有差异。如果CPE只支持单一的接口类型，就只能通过单一的方式接入WAN，这将难以适配站点的网络环境。因此，CPE必须要支持丰富的接口类型，以适配各种接入环境，如表4-1所示。

表4-1 CPE应支持的接口类型

续表

4.4 CPE即插即用

企业如果想上线一个新的站点，就必须要部署CPE。CPE作为一种网络设备，要经过配置调测才能正常工作。该操作过程常被称作开局。在传统的WAN环境下，CPE的部署过程面临诸多的问题，例如，部署CPE的技术门槛较高，往往需要专业的技术人员到现场操作；手工配置CPE易出错，存在误操作的风险，部署效率低下，等等。这些问题导致企业的站点无法快速上线，使企业在商业竞争中处于下风，也深深困扰着企业的IT管理人员。

企业的IT管理人员期望能有一种简单快速的CPE部署方式。该方式使开局人员不需要进行烦琐的操作，也不需要掌握太多的专业技能，只需给CPE接通电源并插上网线，就能让CPE自动开局并完成配置，让站点快速上线，让业务即刻开通。采用该种CPE部署方式，在站点中“随便”找一个非专业人员就能完成站点的上线，这样就可以减轻了企业IT管理人员的工作。

幸运的是，SD-WAN解决方案的出现让以上期望成为现实。SD-WAN解决方案提供了业务自动开通、站点快速上线的功能：ZTP（零配置开局)。它的字面意思已表达出了IT管理人员对于快速便捷部署CPE的期盼。其实，它还有另一层通俗易懂的含义，那就是“即插即用”，即给CPE接通电源并插上网线后，它就能工作了。

那么在SD-WAN解决方案中，具体是如何做到CPE即插即用、站点快速上线的呢？下面就来进一步分解即插即用的招式。

4.4.1 招式分解

首先来整体审视一下SD-WAN解决方案中CPE的部署流程。从CPE所处的位置来看，部署CPE的流程分两个阶段：第1个阶段，CPE在被邮寄到站点之前，一般会处于企业的数据中心内或运营商/MSP的库房中；第2个阶段，CPE在被邮寄到站点之后，一般会位于站点之中。

采取传统的开局方式时，通常只在第2个阶段进行操作，即IT管理人员在站点中对CPE进行配置调测，然后将CPE接入WAN中。在SD-WAN解决方案中，有了网络控制器这个集中管控系统，就可以实现CPE的自动上线注册和业务配置。具体来说，在第1个阶段，可以将CPE的信息和业务配置录入网络控制器中；在第2个阶段，可以让CPE自动与网络控制器建立联系，然后由网络控制器向CPE下发业务配置，从而使CPE接入WAN中。这里所谓的CPE即插即用，指的就是在第2个阶段，只需站点中的开局人员进行少量的简单操作，就可以实现CPE的接入。

在第2个阶段，CPE要想自动与网络控制器建立联系，并且由网络控制器向CPE下发业务配置，就必须满足如下几个条件，如图4-17所示。

图4-17 实现CPE即插即用要满足的条件

（1） CPE连接WAN

CPE与外界进行通信的前提是WAN侧接口要有IP地址，而该IP地址不能由站点人员通过CLI等方式手工配置，否则就背离了即插即用的原则。那么，有什么方法可以让CPE的WAN侧接口获取IP地址呢？答案是借助网络控制器这个大管家。

在SD-WAN解决方案中，网络控制器纳管着所有的站点和CPE，所以在CPE被邮寄到站点之前，管理员可以先在网络控制器上把CPE的WAN侧的接口信息设置好。依据站点的实际网络环境，可以设置静态的IP地址，或者设置动态获取IP地址的参数信息，且WAN侧的默认网关等参数也要一并设置好。

此外，网络控制器上设置的配置信息还要传递给CPE，并让CPE加载这些配置。常用的传递配置信息的方式有两种：U盘方式，即将存有配置信息的U盘插入CPE，由CPE读取并加载U盘中的配置信息；邮件方式，即向站点的开局人员发送包含配置信息的邮件，由CPE读取并加载邮件中的配置信息。

（2） CPE连接网络控制器

CPE必须要获取网络控制器的IP地址，这样才能和网络控制器建立联系。与获取WAN侧接口IP地址的方式相同，CPE也可以通过U盘方式或邮件方式获取网络控制器的IP地址。此外，如果CPE可以通过DHCP方式接入Underlay网络并且DHCP服务器可控，那么也可以通过配置DHCP服务器，将网络控制器的IP地址信息经由Option选项传送给CPE。此外，还可以在公网上部署提供查询服务的服务器，CPE接入后，可向查询服务器查询网络控制器的IP地址，从而获取网络控制器的IP地址。

（3）网络控制器下发配置

如前文所述，可以预先在网络控制器上进行离线的业务设计，即在CPE上线前就把站点的业务都配置好，待CPE上线后，由网络控制器把配置下发给CPE。这要求网络控制器能够在CPE上线后查找到CPE所属的站点，然后下发预先设置好的全量业务配置，实现业务的即刻开通。

网络控制器要通过CPE的身份信息来判断CPE所属的站点，该过程通常有两种实现方式。

第一种方式是ESN与站点绑定。每台CPE都有唯一的ESN，因而该ESN可以作为CPE的身份标识。在网络控制器上预先将CPE的ESN与站点绑定，CPE上线后向网络控制器出示自己的ESN，使得网络控制器可以通过ESN确定CPE所属的站点。为了将CPE的ESN和站点相关联，可以预先在网络控制器上录入CPE的ESN并将其与站点绑定。此外，也可以采用扫码的方式，由网络控制器提供API与扫码系统集成，待CPE到达站点后，开局人员使用智能终端上的扫码App扫描CPE的条形码，向网络控制器录入ESN，并和站点关联。

第二种方式是ESN与站点解耦。除了预先将ESN和站点相关联之外，网络控制器还可以通过向CPE发放临时身份标识的方式来识别CPE的身份信息。网络控制器先根据站点和CPE的对应关系生成令牌，然后将令牌传递给CPE；CPE上线时，向网络控制器出示自己的令牌，网络控制器即可通过该令牌确定CPE所属的站点。待CPE上线后，再将其ESN和站点关联。

综上，以上介绍的两种实现方式中，第一种方式需要提前获取所有CPE的ESN，查询和录入ESN的操作过程比较烦琐，而且CPE要和站点严格对应；第二种方式免除了预先录入和绑定ESN的操作，CPE无须和站点严格对应，相对来说比较灵活。

4.4.2 开局实践

在介绍具体的开局实践之前，先来了解一下在开局过程中所涉及人员的角色和职责。

（1）网络管理员

网络管理员是网络的规划者和管理者。针对CPE即插即用的开局流程，网络管理员主要负责在网络控制器上进行一些开局前的准备工作，如创建站点、配置CPE的WAN侧接口信息以及其他的业务配置。

（2）设备管理员

设备管理员主要负责对CPE进行管理，包括向网络管理员上报CPE的ESN信息，将CPE邮寄到相应的站点等。在特定的开局场景中，设备管理员还会在邮寄CPE之前就对CPE进行导入初始配置的操作。

（3）站点开局人员

站点开局人员主要负责在站点中执行开局操作，并在收到设备管理员邮寄的CPE后，给CPE接通电源、插上网线，必要时还要进行少量的简单操作，如访问URL（Uniform Resource Locator，统一资源定位符）、点击按钮等。另外，站点开局人员在开局完成后还要检查开局结果，以保证CPE成功上线。

根据传递信息的不同媒介，可以把开局方式分为邮件开局、注册中心开局（查询服务器）、U盘开局和DHCP开局等几种方式。下面介绍这几种开局方式的具体实现过程。

1.邮件开局

邮件开局指的是以邮件为传递信息的媒介，实现CPE即插即用的过程。邮件中包含了经过网络控制器特殊处理的URL，该串URL指向CPE的管理网口的IP地址，且包含CPE的配置、网络控制器的IP地址以及网络控制器生成的令牌等信息。CPE管理网口的IP地址一般是出厂默认且固定的，因而通过管理网口的IP地址就可以连接到CPE，并向CPE提交配置信息。

邮件开局的流程如图4-18所示。

图4-18 邮件开局的流程

邮件开局的流程简要说明如下。

步骤① 网络管理员在网络控制器上完成一系列配置，包括创建站点、设置CPE的WAN侧接口参数等，在此过程中，网络管理员可以选择录入CPE的ESN，也可以选择不录入CPE的ESN。如果选择不录入ESN，则只需为站点指定CPE的款型，无须将CPE的ESN与站点关联。

然后，网络管理员通过网络控制器向站点开局人员发送开局邮件，该邮件中所带的URL通常是经过加密处理的。同时，解密密码也需要告知站点开局人员，这是因为开局时会用到这个密码对URL进行解密。

步骤② 设备管理员将指定款型的CPE邮寄到相应的站点。如果在步骤①中没有录入CPE的ESN，此时只需将指定款型的CPE邮寄到站点即可，而无须将CPE与站点严格对应。

步骤③ 站点开局人员在站点内使用开局终端（个人计算机或智能终端）接收网络管理员发送的开局邮件，依照邮件中的操作指导对CPE进行连线上电操作，并执行开局操作。CPE连接网络控制器，由网络控制器根据CPE的令牌确定CPE所属的站点，再将CPE上报的ESN与站点关联起来，并向CPE下发该站点的业务配置。

2.注册中心开局

注册中心开局指的是以注册中心为传递信息的媒介，实现CPE即插即用的过程。这里的注册中心也被称作注册查询中心，通常会部署在公网上，CPE从注册中心获取网络控制器的IP地址。需要注意的是，注册中心只是解决了如何获取网络控制器的IP地址的问题，而CPE的WAN侧接口配置还是需要通过其他途径（如DHCP方式）获取。

注册中心开局的流程如图4-19所示。

图4-19 注册中心开局的流程

注册中心开局的流程简要说明如下。

步骤① 网络管理员在网络控制器上完成一系列配置，包括录入CPE的ESN、创建站点并与CPE关联、设置CPE的WAN侧接口参数等，然后配置注册中心的服务器，使其能够接收CPE的查询请求并向CPE响应网络控制器的IP地址。

步骤② 设备管理员将CPE邮寄至相应的站点。

步骤③ 站点开局人员在站点内对CPE进行连线上电操作。CPE从DHCP服务器获取WAN侧接口参数，然后通过内置的域名向注册中心发起请求，查询网络控制器的IP地址。CPE获取注册中心返回的网络控制器IP地址后，连接网络控制器，由网络控制器根据CPE的ESN确定CPE所属的站点，并向CPE下发该站点的业务配置。

3.U盘开局

U盘开局指的是以U盘为传递信息的媒介，实现CPE即插即用的过程。设备管理员可以在CPE集中放置的地方使用U盘开局，也让站点开局人员在站点中直接进行操作。通常来说，U盘开局的方式比较适用于CPE批量开局的情况，即由设备管理员在库房中完成CPE的批量处理，然后将CPE分发到相应的站点，再由站点开局人员完成CPE的连线上电操作。

以CPE批量处理为例，U盘开局的流程如图4-20所示。

图4-20 U盘开局的流程

U盘开局的流程简要说明如下。

步骤① 网络管理员在网络控制器上完成一系列配置，包括录入CPE的ESN、创建站点并与CPE关联、设置CPE的WAN侧接口参数等，然后生成开局文件，发送给设备管理员。

步骤② 设备管理员使用U盘向CPE导入配置，然后将CPE邮寄至相应的站点。

步骤③ 站点开局人员在站点内对CPE进行连线上电操作，CPE连接网络控制器，由网络控制器根据CPE的ESN确定CPE所属的站点，并向CPE下发该站点的业务配置。

采用U盘开局方式时，无论是由设备管理员在库房对CPE进行批量开局，还是站点开局人员在站点对CPE进行现场开局，都需要准备开局文件并将其存储在U盘中，该操作过程略显复杂。

4.DHCP开局

DHCP开局指的是以DHCP服务器为传递信息的媒介，实现CPE即插即用的过程。DHCP服务器可以向CPE的WAN侧接口分配IP地址、网关等参数，还可以将网络控制器的IP地址、令牌信息通过DHCP Option报文传递给CPE。站点开局人员在开局时只需对CPE进行连线上电操作即可，无须进行其他操作。必须说明的是，使用DHCP开局方式的前提是CPE通过DHCP接入Underlay网络，并且DHCP服务器可由网络管理员配置。

DHCP开局的流程如图4-21所示。

图4-21 DHCP开局的流程

DHCP开局的流程简要说明如下。

步骤① 网络管理员在网络控制器上完成一系列配置，包括创建站点、设置CPE的WAN侧接口参数等。在此过程中，只需为站点指定CPE的款型，而无须将CPE的ESN与站点关联。然后，网络管理员配置DHCP服务器，使其能够通过Option 148向CPE传送网络控制器的IP地址、令牌等信息。

步骤② 设备管理员将指定款型的CPE邮寄到相应的站点。

步骤③ 站点开局人员在站点对CPE进行连线上电操作，CPE从DHCP服务器获取WAN侧接口参数、网络控制器IP地址、令牌等信息，随后连接网络控制器，由网络控制器根据CPE的令牌确定CPE所属的站点，并向CPE下发该站点的业务配置。

邮件开局、注册中心开局、U盘开局和DHCP开局等开局方式的简要对比如表4-2所示。

表4-2 即插即用的开局方式对比

续表

综上所述，邮件开局方式的限制较少，而且操作过程相对简单，对开局人员技能的要求较低。因而通常情况下，推荐使用邮件开局方式。注册中心开局方式也是比较常用的开局方式，由CPE通过与注册中心服务器交互来自动完成开局，在整个过程中，站点开局人员无须再进行额外操作，因而比较便捷。U盘开局方式适用于设备管理员在库房中进行批量开局的场景，DHCP开局方式对Underlay网络有特定的要求，要求部署DHCP服务器且该DHCP服务器可由网络管理员配置，通常只适用于运营商/MSP转售的场景。与邮件开局和注册中心开局相比，U盘开局和DHCP开局的操作过程比较复杂且使用场景受限，因而一般情况下不推荐使用这两种开局方式。

第5章 站点互联若比邻

俗话说：“要想富，先修路”，只有道路四通八达，人们才能建立起高效的沟通并创造更多价值。同样地，SD-WAN需要具备快速和灵活的组网能力，才能让企业位于不同区域的分支机构之间互联互通，做到“天涯若比邻”。

SD-WAN解决方案四大子方案之一的组网子方案是SD-WAN的基础功能。本章从SD-WAN的组网场景分析和组网设计原则入手，对SD-WAN解决方案的组网子方案进行详细的介绍。

5.1 SD-WAN组网概览

5.1.1 组网场景分析

SD-WAN组网子方案的目标是实现企业分支、总部、数据中心、云平台以及传统站点等多种站点之间的网络互通，同时实现不同站点对因特网、SaaS云应用以及公有云等多种企业应用和业务的访问。在上述站点互联以及业务访问的过程中，需要不同的Edge和GW在网络控制器的统一编排和控制下协同完成。典型的SD-WAN组网全景如图5-1所示。

从企业的WAN业务需求出发，可以将SD-WAN的组网场景分为以下几类。

（1）企业站点之间的互联

企业办公场所的站点通常包括分支、总部和数据中心3种类型。企业站点之间的互访是企业WAN最传统和最常见的业务。具体又可以细分为企业分支站点访问总部/数据中心、企业分支站点通过总部中转进行互访，以及企业分支站点直接进行互访。

（2）企业站点访问因特网

随着因特网的迅猛发展，企业业务需要随时随地访问因特网，这就要求 SD-WAN组网方案能够支持本地上网、集中上网和混合上网等多种灵活的上网方式。

图5-1 SD-WAN组网全景

·本地上网：分支站点直接访问因特网，一般适用于较小的企业或者对上网流量不需要集中安全管控的场景。

·集中上网：分支站点绕行到总部集中访问因特网，一般适用于大型企业或者对上网流量需要进行集中安全管控的场景。

·混合上网：分支站点的本地上网和集中上网方式按需混用，一般适用于大型企业或者对上网流量需要集中安全管控，但是对指定业务（比如Office365）的上网流量可以放宽管控的场景。

（3）企业站点访问公有云

随着公有云的流行，企业将业务系统迁移到公有云后，就需要线下站点能够按需、快速地连接到企业部署在公有云的应用。

（4）企业站点访问SaaS云应用

SaaS是一种基于因特网提供软件应用服务的模式，越来越多的企业开始通过因特网访问SaaS云应用，为了提升企业站点访问SaaS云应用的速度和可靠性，需要从全网寻找访问SaaS云应用的最优路径。

（5）企业SD-WAN站点访问传统站点

由于业务关系，新改造的SD-WAN站点需要访问企业传统站点，这时候需要打通SD-WAN Overlay网络和传统的Underlay网络。

此外，运营商提供的互联的WAN可分为如下3种类型。

（1）有质量保证的运营商专线

包括常见的MPLS专线以及MSTP专线等，这类专线网络可以提供专门的线路以保证带宽，SLA质量好，但是价格也比较昂贵，开通周期长。

（2）无质量保证的因特网

作为公共网络，因特网的覆盖率很高，开通快，但是SLA质量没有保障。

（3）自建POP组网

运营商/MSP自建Underlay骨干网是一种特殊的WAN，无法提供“最后一公里”的Underlay骨干网接入能力。此时，可通过运营商/MSP创建的POP GW连接到Underlay骨干网，然后通过SD-WAN将企业站点Overlay网络接入POP GW，从而实现跨区域互联。

5.1.2 组网设计原则

基于上述组网场景，为了实现按需、灵活以及安全的SD-WAN组网，SD-WAN组网子方案需要遵循以下设计原则。

·站点之间通过IP地址实现Overlay网络的互联，Overlay网络与运营商提供的Underlay网络解耦，支持在MPLS专线/因特网/LTE等混合WAN上组网。无论是哪一种运营商的WAN，只要能够为两端站点的CPE提供IP路由可达，SD-WAN就可以在两端站点之间建立Overlay隧道，实现站点的互联互通，从而保证SD-WAN组网的普适性和灵活性。

·支持加密和隔离，满足企业用户内部不同业务部门的安全需求。即支持对企业站点之间互访的数据加密，同时由于不同部门的隔离需求，还要支持基于Overlay技术的VPN隔离功能。

·支持多种网络拓扑，满足站点间业务互访需要。即能对不同的企业用户，根据其业务的地域分布、行政管理特点以及业务诉求，搭建多种多样的拓扑，比如Hub-spoke、Fullmesh、Partial-mesh以及分层网络等，从而满足站点间业务互访的体验和安全等需要。

·支持网络业务编排和自动化发放，提升网络的敏捷性。通过对企业WAN网络模型的抽象和定义，让客户在组网时无须了解技术细节，同时借助网络业务编排，实现网络自动化配置。在降低企业WAN使用复杂度的同时，大大提升网络的敏捷性。

综合上述设计原则，下面将展开介绍SD-WAN组网子方案。

5.2 Overlay网络设计

5.2.1 组网拓扑的多样性

根据企业WAN业务以及企业内部管理的需要，企业WAN需要支持多种不同的拓扑。总体来说，主要分为单层网络拓扑和分层网络拓扑。

1.单层网络拓扑

单层网络拓扑也被称作扁平网络拓扑，特点是企业的分支站点之间可以直接互联，也可以通过一个或多个中心站点互联，如图5-2所示。

图5-2 单层网络拓扑

中小型企业以及站点数量不多的大型企业，一般都采用单层网络拓扑组网。按照网络的拓扑进行细分，单层网络拓扑进一步又可以划分为Hub-spoke、Full-mesh和Partial-mesh等方式。

（1） Hub-spoke拓扑

在Hub-spoke拓扑中，一般由企业总部和数据中心作为Hub站点，企业各分支作为Spoke站点，通过WAN集中访问部署在总部或者数据中心站点的服务器应用。此外，企业的分支站点之间如果需要互通，分支站点之间的流量需经过Hub站点中转，如图5-3所示。

图5-3 单层Hub-spoke组网

Hub-spoke拓扑一般适用于以分支站点与Hub站点的互访为主要业务的企业中，这类企业的应用集中部署在总部站点和数据中心站点的服务器中，主要的业务流量是分支站点访问Hub站点的流量，而分支站点之间互访的流量较少。比如连锁企业的流量主要来自每个连锁分支访问总部/数据中心的流量，而连锁分支之间几乎不存在协同工作互访的流量。

Hub-spoke拓扑组网简单，扩展性较好，能够组建分支比较多的网络，包含的分支站点为100～1000个。需要注意的是，随着网络规模的增大，Hub站点设备的性能面临比较大的挑战，需要部署转发平面和控制平面性能比较好的CPE。

（2） Fullmesh拓扑

在Full-mesh拓扑中，企业的分支站点之间如果存在业务互访流量，则数据直接交互，不需要经过其他中间站点，如图5-4所示。

Full-mesh拓扑主要适用于站点规模不大的小企业或分支站点之间需要协同工作的大企业。大企业的协同业务，如VoIP和视频会议等重要的应用，对于网络丢包率、时延和抖动等网络性能具有很高的要求，因此这类业务更需要分支站点之间直接进行互访。

Full-mesh拓扑组网简单，业务互访效率高，但是组网扩展性一般，一般适用于10～100个分支站点的网络规模。

由于不是所有的分支站点之间都具备与Underlay网络的WAN直接互联的能力，因此Full-mesh拓扑衍生出了一个特殊的Partial-mesh拓扑模型。

图5-4 单层Full-mesh组网

（3） Partial-mesh拓扑

Partial-mesh即部分mesh拓扑，可以被看作一个特殊的Full-mesh拓扑。在希望进行Full-mesh组网的企业中，因当地运营商WAN线路覆盖率不足，部分分支站点无法同其他所有分支站点进行直接互联（此类站点下文称为P站点）。此时，可以选择一个重定向站点，该站点可以同所有站点（包括P站点）互联，从而实现P站点与所有站点互联，如图5-5所示。

图5-5 单层Partial-mesh组网

2.分层网络拓扑

如果企业分支站点数量比较多，并且分布区域比较广，比如跨越多个省（区、市）甚至跨越多个国家与大洲，采用扁平的网络拓扑组网很难解决网络规模大、管理复杂度高等问题，这时就需要采用分层网络拓扑进行组网。

分层网络拓扑可以看作单层网络拓扑的叠加，WAN被划分成多个区域，多个区域又通过集中的骨干区域进行互联，从而实现海量站点之间跨区域的互访，如图5-6所示。

图5-6 分层网络拓扑

以某个跨国企业为例，可以根据企业管理结构，划分为中国、欧洲、美洲等区域，每个区域是一个单层网络拓扑，可以是Hub-spoke拓扑或者Fullmesh拓扑，同时各个区域选择一个或多个站点来作为区域边界站点，各个区域边界站点就构成了区域之间互联的骨干区域，即一级区域网络。区域边界站点同时连接二级区域网络，也连接着一级区域网络。二级区域的WAN建设一般基于本地运营商提供的本地公用网络或本地MPLS网络，而一级区域的WAN由于地域跨度广、对网络性能要求高，一般使用运营商专线，如MPLS专线来组建，组网的费用也相应较高。

分层网络拓扑适应于网络站点规模庞大或者站点分布在多个国家或地区的大型企业，网络结构清晰，网络可扩展性好。

5.2.2 SD-WAN网络模型

分析了企业的业务类型和相应的WAN组网模型后，接下来就该考虑如何构建站点间互联互通的网络了。如前所述，不同站点之间的企业WAN互联，主要涉及两层网络，一个是Underlay网络，另一个是Overlay网络。Underlay网络即通常说的WAN，由不同的运营商基于不同的WAN专线或者公用网络构建；Overlay网络连接不同站点，其依托底层的Underlay网络具备IP可达性，但是与具体的WAN互联技术无关。SD-WAN组网主要是指在不同站点之间搭建Overlay网络，使不同站点之间的互联天堑变成通途，如图5-7所示。

图5-7 Overlay网络

1.MEF标准的SD-WAN网络模型定义

为了阐述SD-WAN Overlay网络的工作原理，首先要对SD-WAN Overlay网络模型进行定义，明确组成Overlay网络中的关键元素及其相互之间的关系。首先可以参考一下MEF对于SD-WAN的标准网络模型定义[3]，如图5-8所示。

MEF定义的SD-WAN服务指的是应用感知和基于策略转发的网络连接服务。围绕SD-WAN连接服务，SD-WAN网络模型中的一些关键的概念定义如下。

·SWVC，即SD-WAN Virtual Connection，SD-WAN的虚拟连接服务，也就是IP Overlay连接服务。

图5-8 MEF对于SD-WAN的标准网络模型定义

·SWVC EP，即SW-WAN Virtual Connection End Point，SD-WAN虚拟连接的端点。

·SD-WAN Service Provider Network，即SD-WAN服务提供商的网络。

·SD-WAN UNI，即SD-WAN User Network Interface，SD-WAN用户网络接口。该接口是Subscriber Network和Service Provider的分界点，即LAN侧业务接口。

·Subscriber Network，即企业自己的站点的本地业务网络。

·SD-WAN Edge，即企业站点的CPE。

·UCS，即Underlay Connectivity Service，Underlay 连接服务，指提供用户站点之间的网络服务。

·UCS UNI，即UCS的用户网络接口，WAN侧业务接口。

·TVC，即Tunnel Virtual Connection，隧道虚拟连接，指Edge的广域接口之间经过Underlay网络互联的虚拟连接。由于两个Edge可能通过多个Underlay网络的WAN专线互联，因此一个SWVC可以构建于多个TVC之上。

为了便于读者理解SD-WAN网络模型的定义，MEF简述了其认为的典型的SD-WAN服务的端到端操作过程。

（1）企业自己的IP业务报文从企业自己的网络（Subscriber Network）经过SD-WAN UNI接口到达SD-WAN Edge。

（2）SD-WAN Edge识别出报文来源的应用类型，或者进一步将报文关联到特定的应用。

（3）进行应用选路或者执行其他与应用相关的策略，然后选择符合应用SLA诉求的TVC，将该应用的报文从TVC转发出去。

（4）该业务报文被发送到TVC的对端站点的Edge，然后经过对端站点的SD-WAN UNI接口到达目的网络。

2.华为SD-WAN网络模型定义

MEF标准给出了SD-WAN模型的定义，华为SD-WAN网络模型定义参考了MEF标准，并做了适当的增强和优化。两者之间存在紧密的关系，华为SD-WAN网络模型的定义如图5-9所示。

图5-9 华为SD-WAN网络模型

下面介绍华为SD-WAN的网络模型定义中的关键元素的基本概念。

（1） Site ID

Site ID，即站点ID，是企业站点在SD-WAN中的全局唯一标识，通常用一串数字或者用IP地址表示，由网络控制器统一自动分配。这里的Site对应于MEF定义的Subscriber Network Site。

（2） CPE ID

CPE ID，即站点CPE的Router ID，是站点CPE在SD-WAN中的全局唯一标识。一个站点通常包含一个CPE或者两个CPE ，CPE ID通常用CPE的Loopback 0的IP地址表示，由网络控制器统一自动分配。这里的CPE对应于MEF定义的Edge。

（3） WAN

WAN也称为TN，是运营商提供的广域网络线路，通常包括运营商专线和公用网络等，不同的WAN有不同的SLA质量，可开通流程以及收费策略。如果不同运营商提供的TN彼此之间路由可达，则认为这些TN在同一个RD内。如图5-9所示，ISP-B和ISP-C提供的因特网彼此能够互通，因此二者属于同一个RD。

TN是构建SD-WAN Overlay网络的基础，这里的TN对应于MEF定义的Underlay Connectivity Service。

（4） WAN接口

WAN接口也称为TNP（Transport Network Port，传输网接口），它指的是CPE接入传输网的WAN接口，企业分支站点的互联本质上是通过两端站点CPE的广域接口进行互联。CPE的TNP的关键信息包括所属Site ID、CPE ID、TN、接口公网IP地址和端口、接口私网IP地址和端口、隧道封装格式类型等。

TNP是站点CPE彼此隧道互联的端点，这里的TNP对应于MEF定义的UCS UNI接口。

（5） RD

不同运营商提供的WAN一般是彼此独立建设的，通常不能互通。但也存在不同运营商提供的WAN可以互联互通的情况，这种情况下的广域网络属于同一个RD。

（6） SDWAN隧道

SD-WAN隧道即SD-WAN Overlay隧道。不同的站点之间要实现互通，需要在两者之间建立一条隧道，隧道的两端是两个互联站点CPE的广域接口（TNP）。该广域接口归属于同一个TN或者归属于同一个RD内的不同TN，这样就可以在Underlay网络实现互通，两个广域接口之间可以直接建立SDWAN隧道。

这里的SD-WAN隧道对应于MEF定义的SWVC。

5.2.3 VPN的设计

SD-WAN的核心是基于Underlay网络构建Overlay网络，实现站点间的互访。出于安全性的考虑，企业希望Overlay网络和Underlay网络之间要相互隔离，不同部门的业务之间也要相互隔离，这就产生了业务隔离的诉求。SDWAN使用VPN技术实现业务隔离，每个VPN是一个独立的私有网络，多个不同的VPN实现了逻辑隔离，相互之间无法直接访问，保证了业务的安全性。

VPN的端到端隔离体现在站点上的VPN隔离和隧道中的VPN隔离两个方面。

1.站点上的VPN隔离

在站点上实现VPN隔离通常是采用传统的VRF（Virtual Routing and Forwarding，虚拟路由转发）的方式，由于不同的VRF之间的转发表是独立的，互相无法访问，因此就能实现该站点上VPN之间的隔离，如图5-10所示。

图5-10 站点VPN隔离

（1） Underlay VPN

采用这种方式，CPE所有的WAN接口都单独部署在一个独立的VPN中，这样做一是为了实现CPE上Underlay网络和Overlay网络的隔离，二是为了规避不同运营商分配的IP地址可能发生冲突的问题。同时，Edge通过Underlay VPN向网络控制器进行注册。

（2）控制VPN

站点的CPE需要与远端的网络控制器建立连接。为此，专门在站点CPE上规划了一个独立的控制VPN，其中包含了一个Loopback接口，作为Edge的Router ID，与区域控制器建立BGP控制通道。

（3）业务VPN

业务VPN承载了企业每个站点的LAN侧业务，是企业WAN互通的业务实体。业务VPN可能是一个，也可能是多个，根据企业实际需要隔离的业务数量而定。在这些VPN上可以运行多种路由协议，如静态路由协议、OSPF协议和BGP等；可以在LAN侧部署VRRP，也可以部署QoS、应用选路、安全和WOC策略等网络增值服务。

2.隧道中的VPN隔离

隧道中的VPN隔离主要指的是在同一条Overlay隧道中隔离不同的VPN流量。通常情况下，企业不同部门之间的业务隔离通过VPN来实现，每个VPN对应一个VN（Virtual Network，虚拟网络），如图5-11所示。

图5-11 隧道VPN隔离

在两个需要通信的站点之间建立一条或者多条Overlay隧道，隧道的外层源IP和目的IP地址分别是源站点CPE和目的站点CPE所对应的WAN链路接口的IP地址。具体采用哪种隧道技术可以灵活选择，例如选择GRE（Generic Routing Encapsulation，通用路由封装）协议、IPSec或VXLAN。

为了区分每个VPN在Overlay隧道中的业务流量，需要在隧道内为不同的VPN流量增加一个标识。通常是在报文中增加一个ID，ID的封装形式根据具体的隧道技术而定。例如，如果采用的是VXLAN隧道，那么可以使用VNI（VXLAN Network Identifier，VXLAN网络标识符）来标识每个VPN；如果采用的是GRE隧道，那么可以使用GRE报文头中的Key字段来标识每个VPN。

5.2.4 隧道设计

SD-WAN的核心特征是IP Overlay，在站点之间是通过IP Overlay隧道承载和传送业务数据的，因此对IP Overlay隧道技术的选择尤其重要。在选择具体的技术之前，需要先对SD-WAN隧道的技术特征进行深入分析。

1.SD-WAN隧道设计原则

原则上讲，选择SD-WAN隧道技术可以不拘泥于某种具体的IP Overlay技术，VXLAN或者基于传统的GRE和IPSec隧道技术理论上都是可行的。但是无论是哪种方式，需要遵循如下设计原则，才能满足SD-WAN的组网方案的需要。

（1）与Underlay解耦，不依赖具体的运营商WAN组网技术

SD-WAN的组网技术本质是采用了IP Overlay进行企业站点的WAN互联，与具体的WAN物理组网技术解耦，只需要WAN提供可达的IP路由即可。因此，SD-WAN的隧道必须基于IP隧道技术构建，比如常用的IPSec、GRE和VXLAN等都是可选技术，并且可以根据需要进行必要的扩展。

（2）支持IPSec等加密技术

SD-WAN支持混合WAN，隧道需要在因特网等不安全的WAN链路上运行，因此必须支持加密技术，IPSec就是最常用的IP加密技术。针对某些安全WAN链路，用户可以选择不加密。

（3）支持VPN隔离

SD-WAN需要支持企业多租户以及单租户内多个部门的VPN隔离，因此需要在隧道技术上支持VPN逻辑隔离，即通过VPN标识进行隔离。

（4）支持NAT穿越

由于IPv4地址资源耗尽，很多站点不具备公网IP地址，只能通过NAT后的公网IP地址进行通信。SD-WAN需要提供类似STUN（Session Traversal Utilities for NAT，NAT会话穿越效用）的机制进行广域网的NAT穿越，此外，在CPE之间的Overlay隧道报文的封装也需要支持NAT穿越。而标准的 VXLAN不支持NAT穿越，因而需要对其进行改造。

（5）扩展性好，支持多种IP Overlay封装格式

WAN的IP分组技术多种多样，当前主流的是IPv4技术，未来将逐渐被IPv6技术代替，同时也不断涌现出SRv6等新技术，SD-WAN在隧道封装格式方面需要具备良好的可扩展性，能够按照站点之间实际互通的WAN IP技术灵活替换隧道封装格式。

（6）封装效率高

IP Overlay的隧道封装格式需要简洁高效、没有冗余，做到“增之一分则太长，减之一分则太短”，从而避免隧道封装占用太多的网络带宽资源。

2.IP Overlay隧道技术

下面简单介绍VXLAN、GRE以及IPSec等几个通用的IP Overlay隧道技术的原理，然后给出具体的SD-WAN隧道设计建议。

（1） VXLAN

VXLAN是由IETF（Internet Engineering Task Force，因特网工程任务组）定义的NVO3（Network Virtualizaiton over Layer 3，跨三层网络虚拟化）标准技术之一，采用MAC in UDP的报文封装格式，将二层报文用三层协议进行封装，可实现二层网络在三层范围内的扩展，它本质上是一种隧道技术。VXLAN网络模型如图5-12所示。

图5-12 VXLAN网络模型

VXLAN隧道在三层网络基础上构建虚拟网络的基本结构如下。

·VTEP是VXLAN的边缘设备，也是VXLAN隧道的起点和终点，对VXLAN报文进行封装和解封装。VXLAN报文中，源IP地址为源端 VTEP的IP地址，目的IP地址为目的端VTEP的IP地址。一对VTEP地址就对应着一条VXLAN隧道。

·VNI类似传统网络中的VLAN ID，用于区分同一VN内的不同子网，VNI不同的用户不能直接进行二层通信。VNI由24 bit的字段组成，可提供多达约1600万个子网的标识。

·BD：BD在VXLAN中，将VNI以一对一的方式映射到BD，同一个BD内的用户可以进行二次通信。

作为一种网络虚拟化技术，VXLAN在隧道源端VTEP上将主机发出的数据报文封装在UDP中，封装时使用物理网络的IP、MAC（Media Access Control，媒体接入控制）作为Outer Header，在隧道目的端VTEP上进行解封装，然后将数据发送给目标主机。VXLAN报文封装的格式如图5-13所示。

图5-13 VXLAN报文的封装格式

VXLAN报文的各个字段说明如表5-1所示。

表5-1 VXLAN报文的各个字段说明

从VXLAN的网络模型和报文结构可以看出，VXLAN有以下几个特点。

·与当前普遍通过12 bit VLAN ID来进行二层隔离的方式相比，通过24 bit的VNI可以支持多达约1600万个VXLAN段的网络隔离，可满足海量租户的需求。

·VNI为VXLAN自有的封装格式，可以将其与其他业务灵活关联，比如和VPN实例关联，可以支持L2VPN、L3VPN等复杂业务。

·除VXLAN边缘设备，网络中的其他设备不需要识别主机的MAC地址。

·通过采用MAC in UDP的封装形式来延伸二层网络，实现了物理网络和虚拟网络的解耦，租户可以规划自己的虚拟网络，不需要考虑物理网络IP地址和BD的限制，大大降低了网络管理的难度。

·VXLAN封装的UDP源端口信息，由内层的流信息经哈希计算得到，Underlay网络不需要解析内层报文就可进行负载分担，提高网络吞吐量。

综合来说，VXLAN具备良好的扩展性，同时支持二层和三层网络；但是在数据加密和NAT穿越方面仍然存在“先天不足”，如果要作为SD-WAN隧道协议，仍然需要和IPSec等传统加密协议结合。

（2） GRE/NVGRE

GRE是一种传统的IP over IP的隧道技术，虽然历史悠久，但是仍然在业界中存在广泛的应用。简单地说，GRE是一种协议的封装格式。它规定了如何用一种网络协议去封装另一种网络协议。GRE封装后的报文格式如图5-14所示。

图5-14 GRE封装后的报文格式

·Delivery Header：封装的外部协议报文头（如IP报文头），即隧道所处网络的协议数据头，是实现一种协议报文穿越另一种协议网络的传输工具。

·GRE Header：对数据报文进行封装后加入的数据，包含GRE协议本身以及和负载协议有关的信息。

·Payload Packet：需要封装和传输的数据报文，被称为净荷（Payload）。系统收到一个净荷后，首先使用封装协议对这个净荷进行GRE封装，加上GRE报文头，使其成为GRE报文；然后再把封装好的原始报文和GRE报文头封装在IP报文中，这样就可完全由IP层负责此报文的转发了。

与VXLAN不同的是，NVGRE没有采用标准传输协议（TCP/UDP），而是借助GRE封装二层报文。NVGRE使用GRE报文头Key字段的前24 bit作为租户网络标识符，与VXLAN一样可以支持约1600万个虚拟网络。此外，NVGRE与VXLAN的区别还体现在如何对流量进行负载分担，因为NVGRE使用了GRE隧道封装，通过GRE扩展字段FlowID进行流量负载分担，这就要求物理网络能够识别GRE隧道的扩展信息。

NVGRE不需要依赖泛洪和IP组播进行学习，而是以一种更灵活的方式进行广播，但是这需要硬件/供应商的支持。此外，NVGRE与VXLAN在报文分片方面也存在差异，NVGRE支持减小数据包最大传输单元以减小内部虚拟网络数据包的大小，不要求传输网支持传输大型帧。NVGRE的报文格式如图5-15所示。

图5-15 NVGRE报文格式

·Outer Ethernet Header：即外层以太报文头，将外层帧中的源以太地址设置为关联NVGRE终端的MAC地址，目的以太地址设置为下一跳IP地址目的NVE（Network Virtualization Edge，网络虚拟边缘设备）的MAC地址。目的终端可以在或不在相同的物理子网中。外层VLAN（Virtual Local Area Network，虚拟局域网）标签可选，可用于流量管理和广播扩展。

·Outer IPv4 Header：即外层IP报文头，IPv4和IPv6都可以作为GRE的传送协议。外层帧中的IP地址被称为PA（Provider Address，供应商地址）。

·GRE Header：即GRE报文头，关键的字段说明如下。

·C（Checksum）和S（Sequence Number）字段必须设置为0。

·K字段必须为1。32 bit的Key字段用于承载VSID和可选的FlowID。

·Protocol Type：协议类型字段设置为0x6558（透明以太桥）。

·Virtual Subnet ID (VSID）：Key字段的前24 bit用作VSID。

· FlowID：Key字段的后8 bit是FlowID，是可选字段。如果没有生成FlowID，则必须设置为0。

从GRE/NVGRE的技术原理看，GRE也具备很好的通用性以及很强的协议扩展能力，同样可以结合IPSec等传统加密协议一起使用，通过适当的扩展，满足SD-WAN隧道所有的功能需求。

5.2.5 路由设计

路由方案设计是SD-WAN组网方案的核心。优秀的路由方案可以保证业务的畅通，同时在网络出现故障时，借助路由的收敛能使网络转发及时恢复正常，从而保证业务的体验不受影响。

SD-WAN的路由方案基于BGP EVPN技术构建，同时又为了满足WAN的NAT穿越等特殊场景，做了局部的增强设计。下面介绍BGP EVPN的技术原理。

1.EVPN原理

EVPN由RFC 7432（BGP MPLS-Based Ethernet VPN）定义。EVPN的设计初衷是作为一种用于二层网络互联的VPN技术，采用了类似于BGP/ MPLS IP VPN的机制，通过扩展BGP的UPDATE报文，使控制层面承担起不同站点的二层网络间的MAC地址学习和发布。

EVPN采用MP-BGP通告MAC/IP的可达性，其策略控制类似于传统的MPLS VPN，非常灵活。MP-BGP为EVPN定义了一套通用的控制层面，引入了一个新的子地址族，即EVPN地址族，并新增了一种NLRI（Network Layer Reachability Information，网络层可达信息），即EVPN NLRI。

EVPN NLRI定义了多种BGP EVPN路由类型，其中最初的Type 2路由用于携带二层MAC/IP路由；随着EVPN技术的扩展，EVPN也被用来传递IP三层路由信息，Type 5路由就是IP前缀路由，主要用于通告引入的外部路由，在以SD-WAN的三层互联为主的网络中将发挥重要作用。

（1） EVPN的主要概念

·EVI：即EVPN Instance，表示EVPN实例。EVI使用VNI标识。VNI相同的实例属于同一个二层BD或者三层VPN。

·VPN-Target：VPN-Target属性控制EVPN路由的收发，每个VPN实例关联一个或多个VPN-Target。

·VTEP：EVPN的网关设备，位于EVPN的边缘，是EVPN中IP Overlay隧道的端点。在SD-WAN中，Edge和GW可以作为EVPN的边缘网关设备。

（2） EVPN控制层面的工作机制

BGP新增EVPN子地址族用于协商BGP EVPN邻居。部署IBGP（Internal Border Gateway Protocol，内部边界网关协议）时，为简化全连接配置，可以引入路由反射器。所有站点都只和路由反射器建立BGP对等体关系。路由反射器发现并接收VTEP发起的BGP连接后形成客户机列表，将从某个VTEP收到的路由反射给其他所有的VTEP。路由反射器可以独立设置，即路由反射器采用独立的设备，也可以同已有CPE合设，即路由反射器与CPE采用同一台设备（总部CPE），如图5-16所示。

图5-16 EVPN控制层面的工作机制

EVPN路由在发布时，会携带RD（Route Distinguisher，路由标识符）和VPN Target（也称为Route Target）。RD用来区分不同的EVPN路由。VPN Target是一种BGP扩展团体属性，用于控制EVPN路由的发布与接收。也就是说，VPN Target定义了本端的EVPN路由可以被哪些对端接收，以及本端是否接收对端发来的EVPN路由。

EVPN中的设备属于同一个AS（Autonomous System，自治系统）时，为了避免在所有VTEP之间建立IBGP对等体，可以将核心设备配置为RR。此时，RR需要发布、接收EVPN路由，但不需要封装、解封装VXLAN报文。RR的部署可以大大减轻网络的部署难度。

EVPN是一种“IP in IP”技术，是在IP网络基础之上构建的一种Overlay架构。当一个站点接收到远端站点通告的Type 5路由，并且此路由经过VRF的Route Target策略检查，获得通过可以下发时，EVPN也会尝试跟对端的下一跳IP地址建立IP Overlay隧道。此隧道用于三层转发时的外层加封装。

总之，EVPN继承了MP-BGP和IP Overlay的优势，具有如下优点。

·简化配置：通过MP-BGP实现边缘网关自动发现、IP Overlay隧道自动建立、EVPN路由与IP Overlay隧道自动关联，不需要用户手工配置，降低了网络部署的难度。

·控制平面与转发平面分离：控制平面负责发布路由信息，转发平面负责转发报文，分工明确，易于管理。

·基于纯IP Overlay技术构建，具备良好的网络互通性和可扩展性。

凭借上述优势，EVPN技术在数据中心网络中得到了广泛的应用，EVPN的这些技术特点和优势同样是SD-WAN组网所需要的。

2.基于EVPN的SD-WAN路由增强方案

不同于数据中心或者园区网络，企业WAN组网更加灵活多变，同时存在多个WAN链路互联以及广域NAT穿越等问题，传统的BGP EVPN协议封装无法解决这些问题，需要进行新的扩展和增强。

具体来说，如果企业站点CPE位于NAT设备之后，CPE不具备公网的IP地址，站点之间无法直接互联互通。同时由于混合WAN的存在，每个站点可以存在多个互通的WAN接口，这些都给SD-WAN直接使用BGP EVPN带来了新的技术挑战。

为了解决上述问题，SD-WAN的路由机制在沿用了BGP EVPN基于Type 5传播网段前缀路由基本机制的基础上，对于SD-WAN路由的下一跳等关键信息进行了增强扩展，SD-WAN路由不仅携带一个WAN接口的IP地址作为下一跳，还可以携带多个WAN接口的IP地址以及NAT前后的IP地址信息作为下一跳。路由方案的设计原则见图5-17。

图5-17 路由方案的设计原则

扩展后的CPE与RR之间的BGP UPDATE的路由承载内容具体如下。

（1） VPN路由

来自于分支站点的VPN路由信息，来源主要是CPE上相关VPN的LAN侧路由，同时携带了下一跳TNP的信息，还有Origin、Originator、Preference、Site ID Tag和VPN标识等常见的BGP参数信息。

（2）下一跳TNP路由

下一跳TNP路由主要描述了CPE的WAN接口与TNP相关的可达性信息，如TNP的公网IP地址、私网IP地址、Site ID以及相应的路由优先级信息，只有VPN路由相关的TNP信息可达时，该VPN路由才会被导入CPE的转发表。TNP作为SD-WAN 隧道的端点，关键信息是Site ID、CPE ID、TN以及隧道封装信息（比如GRE或者IPSec）。除此之外，TNP还携带TNP的私有IP地址、公网IP地址、运营商、优先级、Site ID以及权重等信息。

总体来看，由于SD-WAN的网络规模可能会比较大，它往往由成百上千的分支站点组成，为了避免站点之间的路由邻居数过多导致网络很难扩展，考虑在网络中部署区域控制器。区域控制器具有RR的功能，负责站点之间跨越广域交换路由。

在EVPN RR和CPE之间，一般选择部署BGP来传播SD-WAN的Overlay VPN路由，具体包括站点VPN路由前缀、下一跳TNP路由信息以及用于CPE之间数据通道的数据加密所需的IPSec相关密钥等信息。

站点通常有多个上行的链路，站点间往往有多个隧道，且这些隧道是动态的。由于传统的路由是基于隧道与下一跳建立的，因此，Underlay链路状态的变化、站点间的隧道变化等会导致全网路由的震荡。为了解决这个问题，考虑在BGP控制平面引入路由下一跳分离的机制，将传统的Overlay路由前缀加下一跳IP的路由传播方式，转变成Overlay路由前缀加下一跳站点以及独立发布下一跳站点路由的方式，这样无论链路、隧道如何变化，路由的状态还会保持稳定。

如图5-18所示，针对单个CPE，建议的路由的部署方案如下。

·LAN侧路由：CPE的LAN侧接口支持部署传统的静态路由协议、OSPF协议或者eBGP（external Border Gateway Protocol，外部边界网关协议），具体采用哪一种，由LAN侧对接的网络设备的路由部署方式决定，双方保持一致即可。具体的配置需要由网络管理员在网络控制器上人工指定。

·内联隧道路由：同一个CPE内部的不同VPN之间可能需要路由互通，比如Underlay VPN与某个业务VPN之间需要建立一个隧道，称为内联隧道，系统内部编排默认为一种固定的路由协议，比如OSPF协议，不需要网络管理员配置。

图5-18 路由的部署方案

·互联链路路由：当站点部署双CPE时，需要在CPE间建立一个互联链路，用于两个CPE上同一个VPN的路由互通。默认采用某种固定的路由协议，比如OSPF协议，该配置也由网络控制器自动编排。

·WAN侧Overlay路由：一般部署EVPN，和区域控制器建立BGP邻居，实现Overlay网络域路由的传播，该配置由系统自动编排。

·WAN侧Underlay路由：类似LAN侧路由部署方式，CPE的WAN接口支持部署传统的静态路由协议、OSPF协议或者eBGP，具体采用哪一种，由WAN侧Underlay网络对接的网络设备的路由部署方式决定，双方保持一致即可。具体的配置需要由网络管理员在网络控制器上人工指定。

5.3 网络可靠性设计

随着信息技术的快速发展和普及，企业对信息的依赖程度越来越高。网络作为信息传输的载体，企业对其可靠性的要求也越来越高，而建立一个可靠的网络系统是一项复杂且艰巨的工作。

网络可靠性设计是网络规划设计的关键一环且非常复杂，本节将重点介绍SD-WAN解决方案的可靠性设计，其中包括3个部分：网络链路可靠性设计、网络设备可靠性设计和网络核心站点可靠性设计。

5.3.1 网络链路可靠性设计

网络链路作为最基本的信息数据载体，是网络的命脉。网络链路的中断意味着信息传递的中断，这对很多领域（如金融、证券、航空、铁路、邮政等）的用户来说是灾难性的。这些领域的网络一旦发生故障，会带来非常巨大的经济损失。

从物理层面看，网络是由多种网络设备和线缆构建的，本身存在发生故障的可能性，如网络传输设备发生故障、物理线缆被暴力施工挖断、网络核心节点因天灾人祸失效等，这些都可能导致网络端到端连接的中断。为了规避这些风险，通常采用主备网络链路的策略，即同时建设一条主链路和一条备链路。这样的设计简单、可靠，美中不足的是备链路通常情况下处于备份的状态，不转发网络流量，这将导致企业客户为了可靠性不得不为之支付额外的专线费用。

SD-WAN解决方案提供的链路主备方式撇弃了以上介绍的这种单纯的主备模式，网络站点的多条上行链路会同时处于活动状态，基于预设的流量调度策略使业务流量在多条链路中进行负载分担。当某条链路发生故障时，可以在极短的时间内检测出链路质量发生劣化，从而及时调整业务的流量策略，将流量从故障链路切换到正常链路上，提升链路的可靠性。如此可充分利用企业的接入专线，提高企业接入带宽，加强企业站点的互联。

1.CPE与Underlay网络全互联的场景

企业站点之间可基于多种Underlay网络（如MPLS网络和因特网）互联。如图5-19所示，站点CPE各有两条链路分别接入MPLS网络和因特网，并各自维护Underlay网络的连接信息，当其中某个Underlay网络发生故障后（如MPLS网络发生故障），站点CPE主动将业务流量切换至另一个Underlay网络的链路，确保分支站点之间能够正常通信。

图5-19 CPE与Underlay网络全互联

2.CPE分别连接一个Underlay网络的场景

当某个站点采用双CPE作为出口网关，CPE之间通过互联链路连接，同时 CPE上行仅连接一个Underlay网络（如MPLS网络或因特网），如图5-20所示。各CPE仅负责检测自身上行互联的Underlay网络的状态，并通知另一台CPE监测结果。当某台CPE检测到互联的Underlay网络链路发生故障后，会通知另一台CPE，同时对报文转发策略进行调整，将报文通过互联链路转发到另一台CPE，从而规避上行链路的故障问题。

图5-20 单链路上行且CPE间通过互联链路连接

5.3.2 网络设备可靠性设计

除了线路故障外，网络设备故障也是网络可靠性的重灾区，特别是作为站点出口的网关设备，一旦发生故障，将直接影响站点间的互通。出于保障站点可靠性的考虑，站点出口处通常会部署两台CPE。与传统备份方式不同的是，这两台CPE不是工作在主备模式下，而是工作在双活模式下，即两台设备同时工作，当其中一台CPE发生故障后，另一台CPE将承担所有流量的转发。

由于两台设备同时工作，需要同步其业务信息（如业务会话、应用识别的信息）、链路统计信息和报文调度的策略，使两台设备可以像一台设备那样工作。除了各种信息的同步外，两台设备间可通过探测协议识别彼此的状态。一旦发现邻居设备出现故障，当前正常的设备将接管所有站点的业务，保证网络通信的连通性，并实时调整报文调度的机制，使业务体验达到最佳。

站点内设备的备份有以下两种方式。

（1） LAN侧二层组网：可通过VRRP进行备份。VRRP可以支持多个VRRP实例，通过多个实例实现设备的负载分担。LAN侧二层组网如图5-21所示。

（2） LAN侧三层组网：可通过等价路由进行备份。传统路由器从SD-WAN设备中学习到等价路由，在正常情况下通过ECMP（Equal-Cost Multi-Path，等价多路径）进行负载分担，当设备出现故障时，对应的邻居关系被撤除，相应的路由信息被撤销。LAN侧三层组网如图5-22所示。

图5-21 LAN侧二层组网

5.3.3 网络核心站点可靠性设计

自然灾害等不可抗拒的因素（如地震、火灾等）会导致企业核心站点（如Hub站点）出现故障。核心站点失效后，其他站点将处于信息孤岛中，与外界完全失去网络联系，严重影响企业网络的正常运转。因此，核心站点的可靠性显得尤其重要。

图5-22 LAN侧三层组网

1.Hub站点冗余设计

采用Hub-spoke组网模式时，所有分支站点的数据都需经过Hub站点，若Hub站点失效，则可能导致整网的瘫痪。因此，不仅Hub站点内的设备需采用可靠性方案，同时站点本身也需要采用冗余方案。SD-WAN解决方案提供了双Hub站点冗余方案，当主Hub站点发生故障后，所有流量将能很快地切换至备份Hub站点，该过程无须人工干预，如图5-23所示。

图5-23 Hub站点冗余设计

2.重定向站点冗余设计

如前所述，在Full-mesh组网中，站点间是通过建立直连隧道进行通信的；若站点间Underlay网络无法互通，则站点间无法建立直连隧道。为了解决此问题，SD-WAN解决方案引入了重定向站点。为了提升重定向站点的可靠性，需要针对重定向站点进行冗余设计，即当其中一个重定向站点出现故障时，流量能很快地切换至备用重定向站点。

因重定向站点需要中转其他站点间的流量，对吞吐量有较高的要求，所以一般选择企业的总部、数据中心或大中型的分支站点来兼任此角色。如图5-24所示，分支站点2与云站点之间无法建立直连隧道，故在数据中心侧和企业总部分别设立了两个重定向站点，并互为主备，两站点之间的流量需经过重定向站点进行中转，实现互通。

图5-24 重定向站点冗余设计

5.4 网络编排与自动化

5.4.1 网络编排原理

传统企业WAN的部署和调整过程涉及交换、路由、安全和广域优化等多个网络技术领域，技术复杂度高，且由人工手动操作，因而耗时长、效率低、容易出错。因此，人们希望通过引入网络自动化来解决这个问题，网络编排正是实现网络自动化的核心技术手段。

编排的概念最早产生于艺术领域，通常是指选择不同的乐器来演奏音乐作品的不同部分。网络编排则是一种由策略驱动，通过协调应用程序或服务运行所需的硬件和软件，实现网络自动化的方法。

网络编排是一种自动执行网络业务部署需求的方式，可最大限度地减少部署业务或服务所需的人工干预。例如，网络管理员希望在两个不同的站点间创建一个相同的业务部门来实现互通，具体是通过网络控制器创建站点和VPN，并由网络控制器自动向两端站点的CPE下发相关的网络配置。

SDN的核心是对网络的行为进行集中编排控制，因此首先要对网络的行为和能力进行抽象。网络编排的过程可以简单理解为对抽象网络对象的组织和调配，包含网络资源的分配调度等。对网络服务的抽象设计可以细分为点、线、面3个层次，具体如下。

1.点：单点网元功能的服务抽象

WAN中包含多个不同厂商或者不同型号的设备，为了最小化不同厂商、不同型号设备的差异对组网的影响，让网络管理员将精力聚焦在服务本身，就必须抽象化网络设备的业务功能。

举例来说，网络管理员希望将某个CPE的WAN接口加入某个VPN中，网络管理员向网络控制器发出服务请求后，网络控制器需要自动将该接口配置到该VPN对应的VRF中，并且自动修改接口相关的网络资源信息（如VLAN、IP地址、QoS队列等）和路由协议参数等。整个过程中，网络管理员不需要像传统手工方式一样，去了解和手动输入该VPN对应的VRF信息、接口信息以及手工规划IP地址等接口参数。再比如，网络管理员需要创建包含两个CPE的站点，这时候需要抽象出一个站点创建的服务，网络管理员申请创建站点的服务，并指定加入的两台网络设备即可。网络控制器自动对该服务进行转换，自动完成对两个CPE的网络配置。

2.线：网络连接功能的服务抽象

在单点网元的基础上继续发展，就是网元之间要进行连接的服务抽象。举例来说，两个站点要进行互联，需要抽象出一个站点互联的服务，用户只需要创建该服务，指定两个相关站点即可。网络控制器将自动在两个站点之间下发相关的BGP邻居等配置。

那么，为什么不直接采用抽象出来的单点网络设备功能进行编排呢？事实上，这也是一种可行的做法，但这要求网络管理员具有非常丰富的专业知识和经验，对每个CPE的网络功能和技术细节非常了解。这就使得创建服务具有很高的技术门槛，服务编排变得比较困难，因此更适合非常专业的用户。

3.面：组网功能的服务抽象

采用抽象层次更高的网络服务单元（面）进行编排，将为网络管理员提供更接近业务语言的设计能力，与直接采用网络设备的单点功能的编排对比，就相当于面向对象的高级编程语言和汇编语言的区别。同时在编排过程中，服务对象可与各种不同的物理网络设备进行关联，实现网络服务的复用。

编排时根据网络模型对网络服务单元进行组织和配置，网络模型的复杂度决定了服务编排的复杂性。

SD-WAN解决方案通过网络编排的方式使企业的多分支组网变得非常简单便捷，具体操作包括以下3个步骤，如图5-25所示。

图5-25 编排步骤

步骤① 创建企业站点，可以是分支、总部以及数据中心站点，甚至可以是一个公有云上的云站点，输入站点的基本连接信息，如站点内CPE的类型和数量以及WAN接口数量和类型，加上一些与ZTP所需要的控制器相关的连接信息等。

步骤② 配置站点之间的内网互联拓扑结构，可以是Hub-spoke、Fullmesh及 Partial-mesh等多种拓扑方式的组合，然后规划VPN以及站点间的拓扑关系。

步骤③ 定义SD-WAN运行过程中所需要的业务策略，比如选路策略以及广域优化策略等。

5.4.2 隧道编排

SD-WAN站点通常会有多条上行物理链路，连接不同运营商提供的各类型网络。如何在两个站点间，基于多条连接不同类型网络的物理链路构建可互通的Overlay隧道，需要进行合理的规划和设计。

1.Overlay隧道构建原理

SD-WAN Overlay隧道的构建过程包括CPE学习到对端CPE的TNP信息后，检测连通性，决定是否和对端CPE的TNP之间建立Overlay隧道。建立Overlay隧道前，要进行必要的准备工作，如确定站点WAN侧链路的数量，确定接入网的类型以及这些网络之间是否可以路由互通等，总的来说主要包括以下两点。

（1）规划与定义TN

通过TN来定义站点WAN侧物理链路的类型，基于运营商提供的不同类型的广域接入网来设定TN。通常情况下，同一运营商的同一类型的网络定义为一个独立的TN，例如，运营商A的因特网定义为一个TN，运营商B的因特网定义为一个TN。

（2）规划与定义RD

通过RD来定义不同的TN之间是否路由可达，属于同一RD的TN对应的物理链路之间路由可达。通常情况下，把同一类型路由可互通的属于不同TN的网络（不区分运营商）定义为一个独立的RD，例如，运营商A的因特网和运营商B的因特网可以定义为同一个RD。

确定了TN和RD后，根据TN和RD的实际情况构建Overlay隧道。例如，站点之间如果存在多个属于不同TN的WAN接口，且TN之间彼此路由不可达（属于不同的RD），则针对每种不同的TN创建一条Overlay隧道。如图5-26所示，Hub站点和Spoke站点1以及Spoke站点2可以通过MPLS这个TN构建Overlay隧道，也可以通过因特网这个TN来构建Overlay隧道。

如果站点存在多个属于不同TN的WAN接口，且TN之间彼此路由可达（属于相同的RD），则彼此之间可以构建多条Overlay隧道，如图5-27所示。

图5-26 不同RD中的站点之间构建Overlay隧道

图5-27 相同RD中的站点之间 构建Overlay隧道

2.Overlay隧道编排举例

了解了Overlay隧道构建的原理后，再具体看一下Overlay隧道编排的实例。如图5-28所示，以典型的双网关场景为例，站点1和站点2是双网关站点，有两条WAN侧链路，一条MPLS链路连接CPE1，一条因特网链路连接CPE2。站点3是单网关站点，也有两条WAN侧链路，一条是MPLS链路，一条是因特网链路。

图5-28 双网关组网Overlay隧道编排

为了实现站点间的互联互通，Overlay隧道设计如下。

·站点1、站点2和站点3之间通过MPLS物理链路构建Overlay隧道。

·站点1、站点2和站点3之间通过因特网物理链路构建Overlay隧道。

基于上述组网情况，为了实现Overlay隧道的编排，在网络控制器上需要定义两种类型的模板，包括两种TN（MPLS网络和因特网），分别属于不同的RD（MPLS网络和因特网）。

·双网关双链路模板：一条MPLS链路属于CPE1，另一条因特网链路属于CPE2，绑定到站点1和站点2。

·单网关双链路模板：一条MPLS链路和一条因特网链路都属于同一台CPE，绑定到站点3。

5.4.3 拓扑编排

根据企业不同业务的互通诉求，SD-WAN解决方案支持以下几种典型的站点间互联拓扑模型。

1.Hub-spoke拓扑模型

Hub-spoke拓扑模型主要适用于企业的所有分支站点之间的互访都必须经过总部，须统一进行安全管控的业务场景。在Hub-spoke拓扑模型中，为了提高可靠性，可以部署双Hub站点，如图5-29所示。

图5-29 Hub-spoke拓扑模型

2.Full-mesh拓扑模型

Full-mesh拓扑模型主要适用于企业的所有站点之间的互访都需要直接互通，需减少经过总部站点的互访以免增加时延的场景，如图5-30所示。

3.Partial-mesh拓扑模型

Partial-mesh拓扑模型主要适用于企业的大部分站点之间的互访都需要直接互通，但是部分站点之间互访要经过第3个站点的场景，这里的第3个站点也被称作重定向站点。如图5-31所示，Spoke站点2和Spoke站点3无法直接访问Spoke站点4，必须要经过Spoke站点1才能访问Spoke站点4，Spoke站点1就是重定向站点。

图5-30 Full-mesh拓扑模型

图5-31 Partial-mesh拓扑模型

4.分层拓扑模型

分层拓扑模型主要适用于大型的跨区域企业，企业站点分区域部署，区域内站点直接互联，或者是通过区域内中心站点互联，区域间的站点都需要通过区域中心站点互通的场景。每个区域内的站点和其他区域内的站点通信时的边缘站点也称为Border站点。为了提高可靠性，每个区域内还可以部署两个Border站点，如图5-32所示。

综上所述的Hub-spoke、Fullmesh、Partial-mesh和分层拓扑模型均由网络控制器来进行编排。通常情况下，网络管理员通过网络控制器指定相关站点间的拓扑模型，网络控制器根据对应的拓扑模型生成对应的网络模型，转换为路由策略下发给区域控制器。区域控制器按照网络控制器下发的路由策略控制不同站点的路由收发，最终使站点间按照网络管理员所规划的拓扑模型实现互访。

图5-32 分层拓扑模型

拓扑编排原理如图5-33所示，简要介绍如下。

·在网络控制器上可以为每个业务VPN指定不同的拓扑网络模型。

·通过在区域控制器上配置路由策略来影响站点上的路由学习，区域控制器上的路由策略由网络控制器根据网络管理员配置的拓扑网络模型自动编排生成。

·路由策略基于Site ID进行匹配，进行路由过滤或者是修改路由下一跳的Site ID。

拓扑组网基于区域构建，不同区域内的站点可以构建不同的组网模式，具体如下。

·Hub-spoke组网：对于Spoke站点，接收其他Spoke站点路由时，下一跳需要修改为Hub站点。

图5-33 拓扑编排原理

·Fullmesh/Partial-mesh组网：允许接收所有站点的路由，如果存在重定向站点，需要在所有站点发送的路由里增加重定向站点作为下一跳的备份。

·分层组网：区域内非Border站点接收其他区域的站点路由时，修改下一跳Site ID为本区域的Border站点；对于区域内的Border站点，接收其他区域的路由时，下一跳指向其他区域的Border站点或者指向区域互联的Hub站点。

5.5 访问因特网

随着企业业务的全球化、数字化、云化，企业各站点访问因特网的需求越来越强烈，访问因特网的业务也越来越丰富。通常情况下，站点内的用户使用私网地址，CPE使用向运营商申请的公网地址连接因特网，这就要求CPE提供NAT功能，将站点内用户的私网地址转换为公网地址，使其能够访问因特网。

如图5-34所示，典型的NAT处理过程首先需要确保CPE（NAT设备）位于私网的出口位置，私网到因特网的流量和因特网到私网的流量都要经过该 CPE；其次需要维护一张NAT表用于保存私网地址和公网地址的关联信息，从而实现地址转换功能。

图5-34 NAT

在SD-WAN解决方案中，CPE提供了源IP地址转换功能，可将私网地址转换为公网地址，使站点内的私网用户可以访问因特网，其中主要用到了NAPT（Network Address and Port Translation，网络地址和端口翻译）和Easy-IP两种转换方式。

1.NAPT

NAPT表示同时对IP地址和端口进行转换。NAPT方式属于多对一的地址转换，它通过使用“IP地址+端口号”的形式进行转换，使多个私网用户可共用一个公网IP地址访问外网。

NAPT的工作原理如图5-35所示。

图5-35 NAPT的工作原理

步骤① 私网内的一台主机Host A访问因特网的服务器，将报文发送至CPE，报文的源IP地址是10.1.1.100，源端口是1025。

步骤② CPE收到Host A的报文后，从地址池中选取一个空闲的公网IP地址（如1.1.1.1），替换报文的源IP地址，同时使用新的端口号替换报文的源端口号，并建立NAT表，然后将报文发送至因特网。此时报文的源IP地址是1.1.1.1，源端口是10025。

步骤③ CPE收到服务器响应Host A的报文后，通过查找NAT表，匹配到步骤②中建立的表项，将报文的目的地址替换为Host的地址，将报文的目的端口号替换为原始的端口号，然后将报文发送至Host A。如果私网内另一台主机Host B同时也访问服务器，CPE还是为其分配公网IP地址1.1.1.1，但是会将源端口替换为新的端口（如10026），并建立新的NAT表。

NAPT方式实现了公网IP地址的复用，可以利用少量的公网IP地址来满足大量私网用户访问因特网的需求，是一种应用广泛的地址转换方式。

2.Easy-IP

Easy-IP是一种利用CPE出接口的公网IP地址作为NAT后的地址，同时转换IP地址和端口的转换方式。与NAPT方式相同，Easy-IP方式中，一个公网IP地址也可以同时被多个私网用户使用，可以将Easy-IP方式看成NAPT方式的一种特殊情况。

Easy-IP的工作原理如图5-36所示。

图5-36 Easy-IP的工作原理

步骤① 私网内的一台主机Host A访问因特网上的服务器，Host A将报文发送至CPE，报文的源IP地址是10.1.1.100，源端口是1025。

步骤② CPE收到Host A的报文后，使用与因特网连接接口的公网IP地址（如1.1.1.1）替换报文的源IP地址，同时使用新的端口号替换报文的源端口号，并建立NAT表，然后将报文发送至因特网。此时报文的源IP地址是1.1.1.1，源端口是10025。

步骤③ CPE收到服务器响应Host A的报文后，通过查找NAT表，匹配到步骤②中建立的表项，将报文的目的地址替换为Host A的地址，将报文的目的端口号替换为原始的端口号，然后将报文发送至Host A。如果私网内另一台主机Host B同时也访问服务器，CPE还是为其分配公网IP地址1.1.1.1，但是会将源端口替换为新的端口如10026，并建立新的NAT表。

Easy-IP方式特别适合小型站点访问因特网的情况，小型站点的私网中内部主机较少，CPE的出接口通常会通过拨号方式获得动态公网的IP地址。对于这种情况，可以使用Easy-IP方式使私网用户都通过CPE接口的IP地址接入因特网。

根据企业规模和IT管控策略的不同，不同的企业会有不同的访问因特网的方式。SD-WAN解决方案提供以下几种访问因特网的方式。

·本地上网：企业内所有站点的上网流量均从本地站点的因特网链路接口直接出局上网。一般适用于较小企业或不需要对上网流量集中安全管控的场景。

·集中上网：企业内所有站点的上网流量均需要通过集中上网网关出局上网。一般适用于大型企业或需要对上网流量进行集中安全管控的场景。

·混合上网：默认企业内站点的上网流量均需要通过集中上网网关出局上网，仅有部分指定的业务流量可通过本地站点的因特网链路直接出局。一般适用于大型企业或需要对上网流量集中安全管控，但是对于明确的指定业务（如Office365）的上网流量可以放宽管控的场景。让部分业务流量从本地上网，减小访问时延，提升效率。

5.5.1 本地上网

本地上网（又称为本地出局）一般适用于规模较小的企业，每个站点都具有独立的因特网链路，并且所有站点上网流量不需要集中管控。企业可以基于不同的部门、不同的站点定制本地上网策略。

在SD-WAN解决方案中，本地上网方式支持站点同时选择多个访问因特网的出接口。通过制定各个部门的上网策略，可选择多个访问因特网的出接口，根据选择出接口的优先级实现访问因特网链路的顺序，即实现因特网链路的备份。

本地上网方式支持配置NAT功能。可以根据出接口选择是否开启NAT功能，如Easy-IP方式的NAT，即使用出接口的IP地址作为NAT后的公网地址。本地上网场景如图5-37所示。

图5-37 本地上网

5.5.2 集中上网

集中上网一般适用于大中型企业，企业各站点自身没有访问因特网的链路，均需通过集中网关接入因特网，便于企业对访问因特网的流量进行集中管控。

根据企业网络拓扑的规划，集中上网包括区域内集中上网和全局集中上网两种方式。这两种方式可以并存，用于提升因特网访问的可靠性。

1.区域内集中上网

基于互联区域选择集中上网网关，每个区域选择各自的集中上网网关。

区域内集中站点发布的默认路由对其他区域内的站点系统会自动进行过滤，从而确保区域内集中上网网关发布的默认路由只在集中上网网关所在的区域内扩散。

区域内集中上网的场景如图5-38所示。

图5-38 区域内集中上网

2.全局集中上网

基于全局选择集中上网网关，所有互联区域内的站点都通过该集中上网网关。

全局集中上网的场景如图5-39所示。

图5-39 全局集中上网

为了确保集中上网网关的可靠性，可同时选择两个站点作为集中上网网关，且这两个集中上网网关之间是主备方式。

集中上网网关站点存在两种可供选择的上网方式。一种是集中网关站点的LAN侧有因特网出口，所有的上网流量都通过集中网关站点的LAN侧出局上网，需要在LAN侧配置默认路由或者是配置动态路由协议，从LAN侧防火墙学习到默认路由。另一种是集中网关站点通过WAN侧接口上网，所有的上网流量都通过集中网关站点的WAN侧出局上网。

5.5.3 混合上网

混合上网一般适用的场景是：需要对上网流量进行集中安全管控，同时对于特定业务（如Office365）的上网流量可指定从本地上网，以减少应用访问时间，从而获取最佳的应用体验。基于可靠性考虑，可以让所有流量优先从本地上网，当本地因特网出口发生故障时，切换到集中上网方式。

混合上网通常包括如下几种方式。

第一种是本地上网+集中上网方式。该方式默认所有上网流量从本地出局，当本地上网接口发生故障时，上网流量绕行到集中网关出局，如图5-40所示。

图5-40 本地上网+集中上网方式

第二种是集中上网+指定业务流量本地上网方式。该方式默认所有上网流量通过集中网关出局，部分指定业务流量通过本地WAN侧接口直接上网，比如Office365的流量。同样，在本地上网接口发生故障时，本地出局的业务流量仍然可以通过集中上网接口出局，如图5-41所示。

图5-41 集中上网+指定业务流量本地上网方式

5.6 广域NAT穿越

NAT技术解决了IPv4公网地址短缺的问题，同时也带来了新的问题。例如，NAT的原理决定了只有在报文从私网发往公网时，NAT设备上才会创建NAT表，因此公网中的网络个体无法主动与NAT设备后的私网个体建立连接。如何让公网上个体的连接请求能够穿越NAT设备，主动与私网内的个体建立连接，引出了NAT穿越（NAT Traversal）问题。

在SD-WAN解决方案中，除了CPE提供NAT功能实现站点内私网用户上网之外，还要考虑在NAT设备后的站点之间互联时发生的NAT穿越。因为对于因特网链路构建的Underlay网络来说，CPE位于NAT设备后的情况很普遍。

当CPE位于NAT设备之后时，网络控制器以及其他站点的CPE如何与该CPE穿越NAT设备，建立网络连接，是保证SD-WAN组网的重要前提。在SD-WAN解决方案中，不同组件之间的通信都可能会经过NAT设备，如图5-42所示。

图5-42 NAT穿越场景

SD-WAN解决方案中涉及的NAT穿越场景如下。

（1） CPE和网络控制器的连接

CPE和网络控制器之间会建立管理通道，由于网络控制器会使用公网地址进行部署，CPE会主动向网络控制器的公网地址发出连接请求，所以在这种情况下，可以认为CPE和网络控制器之间的NAT穿越问题已解决。

（2） CPE和CPE之间的连接

CPE和CPE之间会建立数据通道，站点间互访的流量会通过数据通道传输，此时CPE和CPE之间的就属于P2P（Peer-to-Peer，点对点）类型的连接。当CPE位于NAT设备后的私网，特别是两个站点的CPE同时位于NAT设备后的私网时，CPE之间要建立P2P连接，就必须考虑NAT穿越的问题。

要解决CPE之间建立网络连接时的NAT穿越问题，可以考虑使用STUN技术。在最新的标准中，STUN被定位成一种实现NAT穿越的工具，用于终端检查NAT设备为其分配的IP地址和端口，同时也被用来检查两个终端之间的连接性。

STUN技术的应用需要服务器和客户端的配合。服务器部署在公网，具有公网IP地址；客户端部署在私网，位于NAT设备后。在SD-WAN解决方案中，将网络控制器或者区域控制器作为STUN服务器，CPE作为STUN客户端。以网络控制器作为STUN服务器为例，CPE与网络控制器建立的STUN连接如图5-43所示。

图5-43 STUN连接

利用STUN，需要建立数据通道连接的两个CPE能够获取对方经过NAT后的真实公网地址，然后两个CPE的TNP会基于NAT后的地址建立连接，实现NAT穿越。

下面将介绍STUN实现NAT穿越的基本工作原理，关于STUN以及NAT穿越其他技术的详细信息，请参考相应的标准文档。

5.6.1 NAT映射和过滤

首先来介绍STUN中NAT映射行为和过滤行为的概念。映射行为指的是NAT设备对内网发送到外网的报文进行映射，使得一组主机可以共享唯一的外部IP地址，使所有不同的信息流看起来好像来自同一个IP地址。映射行为主要包括以下3个方面。

·与外部地址无关的映射：对于一个内网IP地址和端口，其映射的外网IP地址和端口是固定的。即从相同的IP地址和端口发送到任何外部IP地址和任何外部端口的报文在NAT设备上使用相同的映射。

·与外部地址相关的映射：从相同的内网IP地址和端口发送到相同外部IP地址和任何外部端口的报文在NAT设备上使用相同的映射。

·与外部地址和端口都相关的映射：从相同的内网IP地址和端口发送到相同外部IP地址和相同外部端口的报文在NAT设备上使用相同的映射。

NAT过滤行为指的是NAT设备对外网发送到内网的报文进行过滤，主要包括以下3个方面。

·与外部地址无关的NAT过滤行为：来自任意外部地址的报文都可以穿越NAT设备，被发送给内部主机。

·与外部地址相关的NAT过滤行为：只有来自特定外部地址的报文才可以穿越NAT设备，被发送给内部主机。

·与外部地址和端口都相关的NAT过滤行为：只有来自特定外部地址和端口的报文才可以穿越NAT设备，被发送给内部主机。

STUN将UDP报文的NAT方式分为两大类，锥形NAT（Cone NAT）和对称型NAT（Symmetric NAT）。其中锥形NAT又可分为Full Cone（全圆锥形）、Restricted Cone（受限锥形）和Port Restricted Cone（端口受限锥形）。不同NAT类型的映射行为和过滤行为各有差异，下面分别来介绍。

1.Full Cone

Full Cone这种类型指的是NAT设备在进行地址转换时，将内部同一个IP地址和端口的主机发送的报文都映射到同一个公网IP地址和端口，并且任意外部IP地址与端口的主机都可以通过映射后的公网IP地址和端口访问内网的主机。简而言之，只要内网的主机在NAT设备上由内到外建立了一个映射，外部主机就可以通过该映射向内部主机发送数据。

如图5-44所示，位于内网的Host A，使用IP-A、Port-A向外网中IP-B、Port-B的Host B发送报文，NAT设备会将该报文的源IP地址映射为公网IP地址IP-X，将端口映射为Port-X。这就相当于NAT设备打开了一个“洞”，外网的任意主机（如Host C）就可以通过IP-X、Port-X向Host A发起连接。

图5-44 Full Cone

Full Cone的映射行为是从内部地址（私网IP地址+端口）发送到任何目的地址的报文都会被映射到同一个外网地址（公网IP地址+端口），与外部地址无关。Full Cone的过滤行为的特点是IP地址和端口都不受限制，任意的外部主机发送的报文都可以通过Full Cone的映射表项穿越NAT设备，到达内网的主机。因此，Full Cone属于映射和过滤与外部地址无关的类型。

2.Restricted Cone

Restricted Cone也叫作Address Restricted Cone，指的是NAT设备在进行地址转换时，将内部同一个IP地址和端口的主机发送的报文都映射为来自同一个公网IP地址和端口。与Full Cone不同的是，对于Restricted Cone的映射端口，NAT设备并不允许所有IP地址的主机访问该端口，只有内部主机对某个外部IP地址发起过连接，这个外部IP地址的主机才可以通过映射后的端口访问到内部主机。

如图5-45所示，位于内网的Host A，使用IP-A、Port-A向外网中IP-B、Port-B的Host B发送报文，NAT设备会将该报文的源IP地址映射为公网IP地址IP-X，端口映射为Port-X。只有Host B可以使用任何端口向Host A发起连接，Host C不能通过IP-X、Port-X向Host A发起连接。

图5-45 Restricted Cone

Restricted Cone的映射行为是从内部地址（私网IP地址+端口）发送到任何目的地址的报文都会被映射到同一个外网地址（公网IP地址+端口），与外部地址无关。Restricted Cone的过滤行为的特点是IP地址受限，端口不受限，只有先前内部主机已经发起过连接的外部主机，才可以通过Restricted Cone类型的映射表项穿越NAT设备。因此，Restricted Cone属于映射与外部地址无关和过滤与外部地址相关的类型。

3.Port Restricted Cone

Port Restricted Cone指的是NAT设备在进行地址转换时，将内部同一个IP地址和端口的主机发送的报文都映射到同一个公网IP地址和端口。相比于Restricted Cone，Port Restricted Cone对外部访问的要求更加严格，只有内部主机对某个外部IP地址和端口发起过连接，且来自这个外部IP地址的主机必须使用之前内部主机访问过的端口，该主机才可以访问内部主机。

如图5-46所示，位于内网的Host A，使用IP-A、Port-A向外网中IP-B、Port-B的Host B发送报文，NAT设备会将该报文的源IP地址映射为公网IP地址IP-X，将端口映射为Port-X。只有Host B可以并且只能使用Port-B向Host A发起连接。Host B使用其他端口无法向Host A发起连接，其他主机也不能通过IP-X、Port-X向Host A发起连接。

图5-46 Port Restricted Cone

Port Restricted Cone的映射行为是从内部地址（私网IP地址+端口）发送到任何目的地址的报文都会被映射到同一个外网地址（公网IP地址+端口），与外部地址无关。Port Restricted Cone的过滤行为的特点是IP地址和端口都受限，只有先前由内部主机发起过连接的外部主机使用先前的IP地址和端口发送的报文，才可以通过Port Restricted Cone类型的映射表项穿越NAT设备。因此，Port Restricted Cone属于映射与外部地址无关以及过滤与外部地址和端口相关的类型。

4.Symmetric NAT

Symmetric NAT是对称型NAT，其特点是NAT设备在进行地址转换时，内部同一个IP地址和端口的主机发送到特定的目的IP地址和端口的报文会被映射到同一个公网IP地址和端口。而同一内部主机发送到不同的目的IP地址和端口的报文，则会被映射到不同的端口。

如图5-47所示，位于内网的Host A，使用IP-A、Port-A向外网中IP-B、Port-B的Host B发送报文，NAT设备会将该报文的源IP地址映射为公网IP地址IP-X，将端口映射为Port-X；Host A向外网中IP-C、Port-C的Host C发送报文，NAT设备会将该报文的源IP地址映射为公网IP地址IP-X，将端口映射为Port-Y。Host B只能通过IP-X、Port-X向Host A发起连接，Host C只能通过IP-X、Port-Y向Host A发起连接。

图5-47 Symmetric NAT

Symmetric NAT的映射行为与外部地址有关，内部主机访问不同的外部主机时，映射后的端口都不相同。Symmetric NAT的过滤行为的特点是IP和端口都受限，而且由于Symmetric NAT的映射行为与外部地址有关，映射后的端口是不相同的，外部主机必须收到内部主机发送来的报文，才能获知自己应该通过哪个端口发送报文，穿越NAT设备。因此，Symmetric NAT属于映射和过滤与外部地址及端口相关的类型。

5.6.2 NAT探测和打洞

Full Cone、Restricted Cone、Port Restricted Cone、Symmetric NAT的映射行为和过滤行为各有特点。一般情况下，外网主机不可能直接与内网主机建立连接。要想实现外网主机与内网主机的交互，内网主机就要在自己的NAT设备上打一个“洞”，使得外网主机的访问能够通过这个洞穿越进来，这个过程俗称“打洞”。

在SD-WAN解决方案中，位于NAT设备后的CPE首先要获取自己的NAT类型、映射后的公网IP地址和端口信息，同时还要获取要建立连接的另一个CPE的NAT类型、映射后的公网IP地址和端口信息，然后两个CPE才能根据NAT类型决定是否可以进行NAT打洞，以及如何进行NAT打洞。NAT类型以及映射后信息的获取是通过STUN提供的NAT探测功能来实现的，相关的探测和打洞过程可以参见STUN协议标准。

SD-WAN解决方案中，以下类型的NAT设备之间才支持NAT穿越：

·静态NAT/Full Cone类型的设备和其他任何类型的NAT设备之间；

·Restricted Cone类型的NAT设备和Restricted Cone/ Port Restricted Cone/ Symmetric类型的NAT设备之间；

·Port Restricted Cone 类型的NAT设备之间。

以下类型的NAT设备之间无法穿越：

·Port Restricted Cone 类型的NAT设备和Symmetric类型的NAT设备之间；

·Symmetric 类型的NAT设备之间。

5.7 与传统站点互通

企业在部署SD-WAN之前，可能已经存在了很多采用传统网络技术（如MPLS VPN等）的站点，比如传统总部、数据中心以及分支站点，甚至包括某些采用异构VPN技术部署的云网络，都可以泛指为广义的传统站点。

当新建SD-WAN站点或把部分已有的传统站点改造成SD-WAN站点后，企业将在一段时间内，同时存在SD-WAN站点和传统站点这两类站点，且这两类站点间需要进行互通。由于SD-WAN网络域和传统网络域部署了不同的网络技术，前者是EVPN这样的Overlay VPN，后者是MPLS VPN这样的传统Underlay VPN，因而从控制平面到转发平面，两者都无法直接互通，这就需要允许SD-WAN站点与传统站点之间进行网络互通的解决方案。

总体来讲，与传统站点互通的方案主要分为两大类，如图5-48所示。

·第一类是通过站点互通，即选取某个SD-WAN站点，将该站点与传统网络的连接打通，方案又可以进一步细分为站点背靠背互通和站点本地互通两种方式。

·第二类是GW互通方案，即通过部署独立的IWG实现互通。IWG具备同时连接SD-WAN以及传统网络的能力，因此可以作为网关连通SD-WAN网络域和传统网络域，按照IWG与传统网络对接的技术不同，方案又可以进一步细分为Option A和Option B两种方式。

图5-48 与传统站点互通的方案

总体而言，通过站点互通的方式比较适合单个企业自建自营的场景；而IWG具备多租户的能力，该GW设备不属于任何一个单独的企业，可以被多个租户共享。因此，IWG适合在运营商/MSP转售场景下，由运营商/MSP创建，作为一种可运营的服务，统一提供给有需要的租户。

下面以SD-WAN站点与传统的MPLS VPN站点互通为例，分别详细介绍这些方案的原理和特点。

5.7.1 通过站点互通

1.站点背靠背互通

当SD-WAN站点连接的WAN和传统站点连接的MPLS网络无法互通，即两类站点的Underlay网络无法直接互通时，可以分别选择一个SD-WAN站点和一个传统站点进行背靠背互通，这两个不同类型的站点从逻辑上可以看作一个网关站点。

具体做法是在传统站点和SD-WAN站点的CPE上分别选择一个LAN侧接口，并通过一条专用的互通链路进行物理互联。在该链路上，按需运行BGP/ OSPF等协议，用来交换传统MPLS网络域和SD-WAN网络域的路由，并且将路由发布给各自域内的其他站点。这样，所有其他的SD-WAN站点和传统网络站点之间的互访也可以中转到该专用互通链路，从而实现所有SD-WAN站点和传统站点的互访，如图5-49所示。

图5-49 通过互通链路互访

当一个企业有多个VPN并且同一个VPN的用户同时分布在SD-WAN和非SD-WAN两个网络中时，可以在该背靠背站点的互通链路上创建多个逻辑链路，每个逻辑链路分别加入不同VPN，实现多VPN下的业务互通。

2.站点本地互通

当SD-WAN站点连接的WAN和传统MPLS网络是同一张网络或可互通的网络，即两类站点的Underlay网络可以直接互通时，则可以借助SD-WAN站点的本地出局技术在该站点直接打通SD-WAN Overlay网络域与Underlay网络域，彼此学习路由，从而实现SD-WAN站点与传统站点的本地直接互通。

基于上述的方案原理，根据客户实际的业务需要和组网特点，通过灵活的方案部署，又可以实现以下3种不同的场景。

（1）分布式本地互通

当所有SD-WAN站点的WAN和传统站点的MPLS网络在本地Underlay网络直接互通时，所有的SD-WAN站点都可以部署本地出局的互通方式，从而实现整个SD-WAN对传统站点的分布式互通。这种方式的优点是每个站点的互访流量可以直接本地转发，无须借助Overlay网络域到其他SD-WAN站点中转，转发效率高，如图5-50所示。

图5-50 分布式本地互通模型

（2）集中式互通

当某些SD-WAN站点无法通过本地出局访问传统网络时，可以选择一个能和传统站点进行本地出局互访的站点作为集中互通站点，集中访问站点通过 Overlay网络域发布相应的路由，其他SD-WAN站点学习到路由后，将流量通过Overlay隧道转发到该集中互通站点，再通过该站点本地出局转发到传统网络站点。这种方式的优点是部署简单，互通流量集中，易于管控，如图5-51所示。

图5-51 集中式本地互通模型

（3）混合式互通

基于上述分布式和集中式两种互通方式，可以提供混合式的站点互通，即具备与传统网络域直接互通条件的SD-WAN站点直接本地互通，而不具备与传统网络直接互通条件的SD-WAN站点通过可直接互通的SD-WAN站点进行中转集中互通。

这种方式的优点是在满足了不同组网特点的SD-WAN站点访问传统网络需求的同时，提升了SD-WAN站点通过本地访问传统网络业务的可靠性。当SD-WAN站点的本地互通MPLS链路出现故障时，流量会自动切换到Overlay网络域，通过Overlay隧道中转给集中互访站点，通过这种混合方式，实现了访问传统站点业务的备份，保证了高可靠性。

5.7.2 通过IWG互通

运营商通过传统的MPLS VPN技术，在一张MPLS网络上同时为多个企业提供虚拟专线服务。当运营商面向企业提供全新的SD-WAN站点互联服务时，可在运营商自身的Underlay网络或第三方Underlay网络的基础上，构建SD-WAN Overlay隧道，实现企业新建的或改造后的SD-WAN 站点互联互通。

如前文所述，如果某企业同时存在传统MPLS站点和SD-WAN站点，则存在互联互通的需求，这时运营商可以对所有的企业租户统一提供站点互联互通服务，即IWG服务。具体做法是，运营商自建具备多租户能力的IWG，该IWG设备具备同时和运营商传统MPLS VPN以及SD-WAN Overlay网络域互连的线路和互通的能力。IWG服务作为运营商对外提供的一种管理服务，可供企业租户按需通过SD-WAN网络控制器的界面订购。

与传统的MPLS VPN的跨域VPN方案类似，IWG作为SD-WAN的IP Overlay VPN网络域的ASBR（Autonomous System Border Router，自治系统边界路由器），与传统的MPLS VPN的网络ASBR（通常是PE兼做）之间也需要设计跨域互通，主要分为Option A和Option B两种互通方式。

1.Option A方式

传统MPLS VPN体系架构中跨域VPN OptionA方式的工作原理如下。

·跨域的VPN在ASBR间通过专用的接口管理自己的VPN路由。

·ASBR之间不需要运行MPLS，也不需要为跨域互通进行特殊配置。两个自治系统的边界ASBR直接相连，ASBR同时也是各自所在自治系统的PE。两个ASBR都把对端ASBR看作自己的CE，为每一个VPN创建一个VRF实例，使用eBGP/IGP（Interior Gateway Protocol，内部网关协议）方式向对端发布IP路由。

IWG的Option A方式的原理与上述原理类似。首先，针对每个租户的每个VPN，在SD-WAN的IWG和传统MPLS的PE上各创建一个VRF实例，并且在背靠背的物理互联链路上，相应地创建一对逻辑子接口，该子接口可以是以太子接口、VLAN子接口或VXLAN隧道子接口等；然后，分别在IWG和PE上将这些子接口绑定到对应的VRF实例上，有多少个VPN需要互通就创建多少个子接口；最后，在子接口上配置静态路由或动态路由协议（eBGP、OSPF协议等），完成企业SD-WAN网络域和传统MPLS网络域的路由交换，如图5-52所示。

图5-52 Option A方式

Option A方式的优点是简单易用，且VPN路由发布容易控制，安全可靠；缺点是可扩展性较差，业务开通效率较低，因为每新增一个VPN，除了在IWG部署业务外，还需要配置传统MPLS VPN的PE节点。IWG设备由SD-WAN网络控制器编排和配置，而PE设备属于Underlay骨干网设备，需要借助运营商的MPLS骨干网网管系统进行配置，这往往需要跨部门沟通和协调，同时为了避免Route Target策略等关键的VPN配置产生冲突，还需要双方协商网络设计，导致端到端业务开通效率低。

2.Option B方式

传统MPLS VPN体系结构中跨域VPN Option B方式的工作原理如图5-53所示。

图5-53 跨域VPN Option B方式的工作原理

在两个AS域的ASBR之间运行MP-eBGP，将VPNv4路由和标签信息传递给另外一个域，因为MP-eBGP在传递路由时要改变路由的下一跳，根据标签分配的原则，当一个路由的下一跳被改变时，必须在本地更换标签，因此ASBR在收到域内的VPN路由信息再向外发布时，必须给这些VPN路由信息重新分配标签，VPN路由信息伴随着新的标签被发布出去，而在ASBR本地，新旧标签之间产生了一个标签的交换操作。

对端的ASBR收到从MP-eBGP传来的VPN路由信息并保存到本地后，再继续向自己域内的PE扩散。当这个ASBR向域内的MP-IBGP邻居发布路由时，它可以选择不改变路由的下一跳，或是将路由的下一跳改为自己，如果改变了路由的下一跳，同上面的标签分配原则，也需要为这些VPN路由重新分配标签，在本地完成标签的交换操作。

IWG的Option B方式与上述原理类似，IWG与对端MPLS VPN的PE物理直连，彼此之间运行MP-eBGP，IWG将SD-WAN网络域的EVPN业务路由转换为VPNv4路由，通过MP-eBGP发送给对端的PE，同时接收对端发送的传统站点的VPNv4路由，本地转换为EVPN路由发送给SD-WAN网络域内站点，实现业务互通。

Option B方式如图5-54所示。

Option B方式的优点是配置简单，业务发放效率高，只需要在方案开始部署时，在ASBR-PE进行一次配置，即配置好IWG和PE之间的MP-eBGP邻居，所有的VPN都可复用一对BGP邻居。后续即使新增VPN，也无须再配置PE，业务开通自动化程度高。缺点是Option B方式的路由扩散原理比较复杂，不同企业的VPN路由会在域间扩散，需要借助Route Target策略做好不同租户间的路由控制和隔离，路由管控复杂度较高，运营商的运维复杂度高。

图5-54 Option B方式

综上所述，Option A方式和Option B方式各有优缺点。Option A方式简单易用，但是扩展性和业务部署自动化程度不高，特别适用于网络和VPN规模不大的互通场景；Option B方式扩展性好，但是技术较复杂，运维挑战大，在需要大量的VPN互通且有频繁的VPN变化的互通场景下更加适用。在实际的应用中，不同的运营商应结合具体的场景和自身特点选择具体的方案。

3.可靠性设计

IWG是实现SD-WAN网络域和传统MPLS网络域互通的关键设备，所以必须保证部署冗余以及业务高可靠，具体方案如图5-55所示。

图5-55 IWG可靠性方案

运营商拥有跨地域的多个POP机房，且每个POP部署一个或者多个IWG。按照地域和可靠性要求，将IWG统一划分为多个接入区，每个接入区可以包含一个或者多个POP，因此包含多个IWG，每个接入区的IWG具备同等的可靠性水平。

租户通过SD-WAN网络控制器为每个站点选择两个不同IWG接入区，其中一个作为主接入区，另外一个作为备接入区。SD-WAN网络控制器根据所选的IWG接入区，选出网络性能最优的主备IWG各一个。

IWG分别从对端PE学习到传统VPN的路由，在向SD-WAN网络域发布时，SD-WAN网络控制器编排主IWG发布的路由优先级高于备IWG发布的路由优先级，使得SD-WAN访问传统网络优先选择主IWG。同样，IWG设备通过BGP路由策略反向控制发布给传统MPLS网络域的路由，使传统MPLS网络从主IWG学习到的路由优先级高于从备IWG学习到的路由。

当主IWG发生故障，SD-WAN网络域的区域控制器感知到和主IWG之间的BGP发生故障，然后向SD-WAN网络域内所有站点发布撤销路由的消息，使得SD-WAN网络域访问传统网络的路由切换到备IWG。

5.8 POP组网方案

随着经济数字化以及经济全球化的发展，越来越多的企业跨地域扩张或者实施了全球化战略。企业在更广的地域内进行分支互联、数据同步以及云/ SaaS应用访问成为必然趋势。这样的大背景下，如何为这类企业提供更加快速、安全和高品质的跨地域WAN互联成为一个亟待运营商解决的问题。比如，随着中国经济的发展以及“一带一路”倡议的推出，越来越多的中国企业选择走出国门，将企业业务推向全球。在这种情况下，企业及时建设跨地域、跨国家的WAN互联显得尤为重要。

为了实现跨国或者跨越多个区域的企业站点之间的网络互通，企业往往会选择全球性的运营商专线或者因特网来进行总部和分支的组网互联，而这两种方式都存在各自的问题，具体如下。

全球性的运营商专线除了存在线路成本高、建设周期长等问题，还存在网络覆盖率低的问题，在某些经济发展程度较低的区域，可能根本没有专线接入资源可以使用，这时候很多企业甚至通过架设微波通信的方式来解决问题，但该方式部署成本极高且网络带宽有限。此外，因特网虽然覆盖范围很广，线路容易获得，近几年区域性因特网的质量大大提升，但是跨国跨地区的因特网访问往往涉及多家运营商的因特网的网间互联互通问题，网络传输质量无法得到有效保证。

跨地域发展的企业同样存在类似的问题。举例来说，国内一些大型物流企业，下属大大小小的分支可能有数千个，由于区域经济发展以及分支所在地运营商WAN覆盖范围和质量不平衡的问题，不同地区的分支可能选择不同的运营商WAN线路分支互联，由此带来不同运营商WAN之间互联互通质量不佳导致WAN应用体验不佳的问题。

如何在组网成本和访问体验/效率之间找到一个最佳的解决方案，是每一个跨国或者跨地域发展的企业进行网络互通时亟待解决的重要问题，该问题的答案是SD-WAN POP组网解决方案。

5.8.1 方案背景

为了实现企业站点跨国/跨区域的高品质互联，POP组网方案要解决两个主要的问题。一是要有高品质的跨国/跨区域的WAN骨干网（下称骨干网），保证企业WAN应用的高品质传输和体验；二是要解决骨干网覆盖范围不够的问题，即企业站点无论在哪里，“最后一公里”都能快速接入骨干网。前者正是跨区域运营商/MSP的优势所在，而后者正是SD-WAN的用武之地，可以借助SD-WAN的Overlay网络自动编排和基于SDN的业务快速发放方式解决“最后一公里”的接入问题。因此运营商拥抱SD-WAN，可以很好地提供企业站点跨国/跨区域的高品质互联网络。

具体来说，首先，具备跨国或者跨地域专线级骨干网的运营商/MSP，在骨干网的边缘建立POP，在POP内部署SD-WAN的网关设备，也可以称这些设备为POP GW。POP GW一般是CPE，软件形态或者硬件盒子形态均可，POP GW同运营商骨干网边缘设备进行了Underlay互联。通过与运营商骨干网的互联，POP GW之间实现了物理互联，组成了一张跨国/跨区域的SD-WAN POP网络，如图5-56所示。

其次，要解决各地域WAN站点以及各种关键企业应用快速接入POP网络的问题。例如，在分支互联方面，主要是解决分支“最后一公里”接入POP网络的问题，由于POP网络覆盖范围有限，解决该问题的主要做法是借助本地运营商的因特网链路接入。在企业分支站点部署SD-WAN CPE，在SD-WAN网络控制器的集中管控下，实现站点CPE与最近的POP GW的IP Overlay隧道对接，从而将跨国企业分支的流量导入POP组网，并借助POP网络，最终实现跨地域分支之间的高品质互联。

图5-56 POP组网构想

跨国/跨区域的企业是POP组网方案的直接受益者，拥有全球或者跨区域专线资源的运营商、MSP，甚至公有云提供商也是POP组网方案的受益者。运营商、MSP和公有云提供商共同的特点是拥有高品质的跨区域骨干网，渴望跨区域拓展企业业务，但是又无法完全覆盖企业“最后一公里”的接入，通过POP组网与SD-WAN的完美结合，可以有效地解决该问题。

运营商与设备提供商本质区别是运营商提供网络运营服务，主营业务是网络资源。为了满足客户组建SD-WAN的业务需求，运营商需要在现有网络的基础上建立POP，打造运营商级的SD-WAN，从而面向客户进行营销推广。如果不打造该网络，运营商就变成了集成商，一单一单做项目，无法标准化，也就无法做规模化的市场推广。

此外，运营商既要满足普通客户的需求，也要满足高端客户的定制化需求，因此运营商的POP要具备多厂家合作和多租户能力，POP之间支持智能选路的能力也是关键要素。

综上所述，运营商在提供SD-WAN业务所需的基础线路资源和全网服务交付能力方面有着天然优势，因此POP组网方案是非常适合运营商或者MSP进行运营的方案。

5.8.2 方案设计

SD-WAN POP组网方案主要由网络控制器、POP GW和各种需要互联的SD-WAN站点构成，如图5-57所示。在SD-WAN网络控制器的统一编排和管理下，完成POP GW的创建、POP GW之间的互联以及各种站点与POP GW的互联。

图5-57 SD-WAN POP组网

（1） POP GW

POP GW可以看作SD-WAN GW中的一种，具备SD-WAN GW的共性。

首先POP GW是多租户设备，可被多个租户共享，不专属于任一特定租户。在SD-WAN网络控制器上，POP GW由MSP账户创建并由MSP负责维护，对租户不可见。其次，POP GW作为网络的中转节点，一方面是分支站点接入POP组网的入口，另一方面又借助跨域的Underlay骨干网，实现与其他区域的POP GW互联。

POP GW由SD-WAN网络控制器统一控制和管理，所有POP GW上的业务均由网络控制器进行编排和发放，除了POP GW进行ZTP需要的配置外，主要包括POP GW之间互联以及同SD-WAN站点之间互联所需要的配置。

POP GW可以是硬件形态，也可以是软件形态。软件形态比较灵活，适合POP具备计算虚拟化环境或者直接在公有云上创建POP的场景。

（2）站点

需要借助POP组网进行互联的各种SD-WAN站点，主要包括分支站点、总部/数据中心站点以及公有云站点等。虽然SD-WAN GW不被租户所感知，但是POP组网是作为一项MSP服务提供给租户的，因此在租户视图下，租户需要按需选择为哪些站点或者站点中的哪些部门提供POP组网服务。

1.关键技术

POP组网需要解决的关键问题包括：POP GW之间如何互联、CPE如何选择最优POP GW、POP组网如何选路、如何进行运营和计费等。

（1） POP GW之间如何互联

POP GW一般通过运营商/MSP的自建广域骨干网进行互联。比如某MSP拥有全球或者跨区域MPLS VPN，可以将POP GW与PE共机房建设，并将POP GW与离其最近的PE/MCE（Multi-VPN-instance Customer Edge，多VPN实例用户边缘设备）进行物理线路直连，控制平面通过部署Option A方式对接，采用Option A背靠背互通，同时在双方设备上创建VLAN子接口或者VXLAN隧道，并分别按照BGP进行彼此的VPN路由交换，实现业务互通。

另外，运营商/MSP没有自建的广域骨干网，也可以直接租用第三方的因特网专线进行POP GW的互联，因特网专线的方式灵活但是质量不可靠，这种情况下建设的POP网络一般需要进行特殊的选路优化。

（2） CPE如何选择最优POP GW

分支站点的CPE上线后，需要就近选择最优的POP GW进行互联，从而接入POP组网。CPE在网络控制器的指导下，进行POP GW的选择和SD-WAN隧道的建立。

网络控制器进行最优POP GW选择的算法多种多样，可以提前规划并静态指定，比如提前对POP GW进行规划分区，然后按照地理位置与距离远近，由MSP管理员静态指定与分支站点关联的POP GW分区。一个POP GW分区往往包含数个POP GW，由网络控制器根据POP GW的负载情况，如POP GW的转发资源、租户数量等，选择一个相对空闲的POP GW给分支站点作为主POP GW。

另外，网络控制器可以在站点CPE上线后向CPE通知一个POP GW组，CPE发起对POP GW组内所有POP GW的探测，并将探测结果通知网络控制器，然后由网络控制器选择一个综合转发性能和负载最优的POP GW给CPE作为主POP GW，随着网络条件的变化，主POP GW可以按需重新选择。

同时为了实现分支站点接入POP组网的可靠性，网络控制器需指定一个备POP GW接入分区，即为分支站点选择一个备POP GW。正常情况下，分支站点使用主POP GW进行流量转发，在主POP GW发生故障或者相应链路发生故障时，将流量切换到备POP GW。不同的站点可以选择不同的POP GW作为主备，从而使得所有的POP GW都工作在活动状态下，实现POP GW的负载分担。

（3） POP组网如何选路

前面说到POP GW之间一般通过运营商/MSP的全球广域骨干网互联，那么如何通过选路保障POP GW之间的网络质量？一般来说，POP骨干网是轻载的，比如针对运营商的MPLS骨干网，直接按照路由转发就能保证较好的网络传输质量。如果无法保证POP骨干网轻载，就需要为重要应用选择能保证SLA的转发路径，一般有如下两种做法。

方法一：运营商的POP骨干网提供能够基于应用诉求进行选路的功能，可以基于丢包率、时延以及带宽等条件选择最优的路径。这就需要POP骨干网作为Underlay层，提供MPLS TE（MPLS Traffic Engineering，MPLS流量工程）或者SRv6的选路功能。

方法二：有少部分运营商/MSP基于第三方因特网构建POP组网，这种情况下通过因特网无法保障选择出最优路径，需要通过SD-WAN解决方案的选路方式实现。

（4）如何进行运营和计费

POP骨干网的长途线路资源宝贵，SD-WAN POP组网方案可以提供有效的流量和QoS控制手段，确保POP网络资源的合理使用。网络控制器可以对每个站点接入POP GW的Overlay隧道做流量限速，也可以对POP GW接入骨干网设备的链路进行带宽限制。MSP可以基于带宽包月或者按照实际经过POP组网的流量进行收费。

2.总体业务流程

SD-WAN POP组网业务配置流程如下所示。

（1）创建POP组网

·MSP管理员通过网络控制器创建POP GW，并准备好ZTP的参数。

·完成配置POP GW与POP骨干网的互联参数，包括子接口以及BGP等。

·MSP管理员将POP GW上电并进行ZTP，POP GW将主动在网络控制器上注册。注册成功后，网络控制器自动向POP GW下发配置。

·POP GW成功上线。

（2）分支站点CPE上线，并选择POP组网服务

·网络控制器向分支站点CPE分配最近的POP GW。

·分支站点CPE同POP GW之间建立SD-WAN Overlay隧道。

·分支站点成功接入POP 网络，可以通过POP组网进行互联。

5.8.3 方案优势

SD-WAN POP组网方案的优势如下。

1.高性价比地实现对多种业务的跨域高品质访问

除了分散的分支站点，还有公有云和SaaS等关键应用也可能是跨地域部署的。这些关键应用所处的数据中心往往具备丰富的专线。借助POP组网，可以实现企业分支站点与公有云以及SaaS等云业务的高速互联，这样使得本来遥不可及的云和SaaS等企业关键业务变得“触手可及”。

举例来说，某跨国企业将数据中心及研究工具均部署在AWS位于美国的服务器上，该企业的中国分支机构在开展日常业务时，需要与美国服务器间进行数据同步工作。但是因为中美物理距离过远，且数据传输需跨运营商，导致互联网访问效果很差，这时采用POP组网就可以很好地解决该问题。通过在AWS附近部署POP GW，可获得比因特网传输质量高、比专线网络综合成本低的网络服务。

2.借助因特网解决“最后一公里”的接入问题

因特网是世界上覆盖范围最广、高度商业化的WAN。在激烈的市场竞争中，对因特网接入侧的网络质量的要求也越来越高，近些年因特网接入侧的网络质量已经获得了较大的提升。经过专业机构的调查分析，各运营商因特网接入侧的网络质量非常稳定，网络时延小，对长距离网络传输的性能影响小。在这种情况下，借助因特网并结合SD-WAN的Overlay隧道技术，可以解决“最后一公里”的接入问题。

由于因特网接入侧的网络质量已经达到一定的水平，对POP组网端到端的网络质量没有负面的影响，这将帮助MSP扩大自己的骨干网服务范围，解决企业客户跨国分支因运营商/MSP的接入网无法覆盖而无法互联的问题，提升企业客户的满意度，帮助运营商/MSP拓宽市场。

3.快速开通

解决了端到端的网络高质量互连问题后，还要解决业务的快速开通问题。跨国企业的分支由于地域跨度大，因而WAN运维成本高，对此，SD-WAN解决方案可有效应对。在SD-WAN网络控制器的集中管理和控制下，POP网络的创建以及分支站点到POP GW的Overlay隧道接入等关键业务流程都可以做到远程自动化发放，实现了跨国企业分支的互联及关键应用业务的快速开通。

5.9 连接公有云

随着云计算技术的快速发展，公有云已经可以提供比较完善的网络和IT服务，如计算、网络、存储和安全等IaaS，微服务引擎、云容器引擎和AI开发平台等PaaS（Platform as Service，平台即服务），以及企业ERP（Enterprise Resource Planning，企业资源计划）等SaaS。相比传统的企业IT建设方式，公有云在业务快速开通、资源按需发放（扩容或缩容）、资源利用效率以及运维成本等方面也具备比较明显的优势。因此，越来越多的企业将自己的关键的IT业务系统和应用部署在公有云上。同时，为了资源扩张的需要以及提升业务可靠性，企业的关键业务和应用有可能会同时部署在多个公有云上。这种情况下，企业SD-WAN除了要提供分支站点、总部和数据中心站点之间的网络互联外，还要实现各种企业站点到公有云以及公有云之间的网络互联。

简而言之，云与网络具备不可分割的关系，云网本应为一体，而SD-WAN就是实现企业云网融合的关键一环。

5.9.1 公有云概述

在对SD-WAN连接公有云展开需求分析和方案设计之前，有必要先介绍一下公有云相关的概念。下面就以AWS的架构为例，简单介绍常见公有云的关键概念与架构特征，如图5-58所示。

（1） Region

Region，即地理区域，是指按照实际的地理位置划分的数据中心。公有云服务于不同区域的客户，通常在全球不同的区域都部署了数据中心，如华为云已部署在华北、华南、亚太、欧洲等区域，一般企业租户会根据业务需要就近选择数据中心。因此，可以将某个地区的公有云数据中心集合统称为一个Region。

（2） AZ

AZ（Availability Zone，可用区域）是指同一Region内，具有独立的供电系统和冷却系统的物理区域。一个Region内可以有多个AZ，不同AZ之间物理隔离。通常一个数据中心可以看作一个AZ。如果企业应用需要较高的可靠性，通常会将资源部署在同一个区域的不同AZ内。

图5-58 公有云的关键概念与架构特征

（3） VPC

VPC为企业提供自主规划配置和管理的虚拟网络环境，是企业租户在公有云的“家”。每个VPC是一个独立的三层IP网络，企业租户可以根据需要在VPC中规划子网、路由、安全组、带宽等网络参数。VPC之间相互隔离，不同VPC的IP地址可以重叠。

（4） EIP

EIP提供独立的公网IP资源，包括公网IP地址与公网出口带宽，可以与弹性云服务器、NAT网关等资源绑定。

（5） IGW

IGW作为VPC的接入网关，可以看作VPC网络和外网通过因特网连接的一扇“门”，IGW提供了EIP到VPC网络的映射，外网通过因特网访问EIP时会连接到IGW，从而实现VPC和外网的互联互通。企业租户的每个VPC都只有一个逻辑的IGW。

（6）直接连接（Direct Connect）

Direct Connect可以让企业通过专线网络，建立从本地到公有云VPC的连接。Direct Connect是一种安全可靠的VPN专线服务，用来构建MPLS专线。

多数公有云都支持因特网和专线网络这两种接入方式。对于因特网接入方式，站点和VPC两端都具有公网IP，通过任意隧道即可互通；对于专线接入方式，需要用户有专线接入Direct Connect机房。Direct Connect机房一般是由IXP（Internet eXchange Provider，互联网交换提供商）提供，租户可以选择放置自有的路由器或者租用公有云提供商的路由器，租户路由器与公有云路由器在Direct Connect机房交叉互联即可。

（7） VGW

VGW类似IGW，可以看作公有云服务商为租户VPC与外网设立的另一扇“门”。不同于IGW之处在于，VGW支持标准的IPSec VPN功能，对外提供IPSec GW的功能，外网设备可以通过建立IPSec隧道连接VGW，从而实现和VPC的互通；同时，VGW可以连接到专线网络，通过Direct Connect专线的方式实现和外网的高品质互联。

（8） VPC对等连接

VPC对等连接是指不同VPC之间的网络互通服务。通常大部分的公有云可以提供同一个Region内不同的VPC之间的连接服务，但不支持不同Region之间的VPC对等连接服务，这种情况下可以借助SD-WAN实现。

5.9.2 云网融合场景

对公有云的架构有了基本的认识之后，下面分析SD-WAN连接公有云的主要业务场景和需求。

企业业务上云后带来的云网互联相关的业务场景是非常丰富的。总体来讲，主要包括两大类：一类是企业分支站点连接公有云的业务场景，即在传统企业分支、总部与数据中心站点之间互访的基础上，增加上述各种站点与公有云之间的互访；另一类是混合云业务场景，即同时部署了企业关键业务应用的私有云和公有云之间及多个不同的异构公有云之间的网络互通，如图5-59所示。

图5-59 云网融合业务

1.分支站点连接公有云

企业业务上云意味着关键应用系统将逐渐部署在公有云上，例如，企业OA（Office Automation，办公自动化）、ERP、在线供应链以及数据采集存储等系统。这时，企业分支若需要访问公有云上部署的系统，就必须解决连接公有云的问题。根据业务特征又可以将分支站点连接公有云的场景分为以下3类。

（1）简单连接公有云

很多中小型企业，在公有云上部署的业务单一，比如应用系统通常集中部署在公有云的同一个VPC内部，企业分支集中访问VPC内的应用系统，对业务的开通速度以及网络质量要求并不高，这时方便地实现企业分支与公有云的互通是企业业务上云的首要目标，如图5-60所示。

图5-60 简单连接公有云

（2）增强连接公有云

很多大企业在公有云部署了丰富的业务系统，部署方案复杂，同时对于业务的开通速度和云上的业务体验有较高的要求。例如，企业将多个应用系统分别部署在公有云的不同VPC内部，企业分支需要能够按需访问不同的VPC，同时由于这些应用系统之间也需要互访，因此VPC之间存在互访的需求，如图5-61所示。

图5-61 增强连接公有云

同时，针对在公有云VPC内部署的应用系统，若要保障其理想的应用体验，则对网络质量有较高的要求，否则因网络拥塞等导致的网络时延增大和丢包增多将会影响应用体验。因此，如何基于链路质量为应用选路从而保证应用体验是此时面临的问题；针对在公有云VPC内部署的数据存储系统或者视频系统，当需要传输大文件以及视频时，需要考虑如何快速和稳定地传输。

（3）自建GW连接公有云

很多SD-WAN服务提供商同时自建自营公有云，并对企业提供公有云服务。这种情况下，无论是SD-WAN还是企业的公有云方案都由该服务提供商统一提供，因此对于这类服务提供商而言，将SD-WAN连接公有云形成端到端一体化的方案是一个很合理的选择。

运营商可以通过SD-WAN和云服务深度融合为企业租户提供一站式的上云服务，此时运营商面临如何将SD-WAN管理的网络与自建公有云连通的问题。运营商可以考虑在公有云部署一个多租户的SD-WAN GW，将其已有的公有云多租户GW进行背靠背连通，从而打通端到端的云网融合服务，使得为企业租户开通SD-WAN服务的同时，也让企业用户获得一站式的良好上云体验。

2.混合云

混合云的主要应用场景包括利用公有云进行应用数据的备份、容灾以及弹性负载扩缩容等，如图5-62所示。无论哪种场景，都面临如何解决私有云和公有云互联、多个公有云互联以及对多云站点进行集中管理的问题。

图5-62 混合云

SD-WAN在混合云场景部署的总体思路是在需要互联的混合云站点部署边缘设备或者网关设备，在网络控制器的统一管控下，实现混合云的按需灵活互联。

5.9.3 连接公有云方案

以上分析了SD-WAN的云网融合的主要场景。分支站点连接公有云的场景如图5-63所示。

图5-63 站点连接公有云的场景

对应分支站点连接公有云的3种场景有3种SD-WAN解决方案。

·IPSec VPN GW方案：企业站点CPE直接建立IPSec隧道连接公有云的VGW，这种方案比较简单，IPSec的配置可以统一由SD-WAN网络控制器完成。

·vCPE云站点方案：企业在公有云VPC中部署vCPE，vCPE成为VPC云站点的边缘设备，统一被SD-WAN网络控制器纳管，并且通过SD-WAN Overlay隧道与企业站点进行互联。

·多租户网关方案：在公有云内部署SD-WAN GW（云GW），在SD-WAN网络控制器的纳管下，统一和公有云内的网关进行对接。

1.IPSec VPN GW方案

租户在公有云创建VPC后，一般可用两种方式使VPC同租户本地部署的分支和数据中心等外部站点进行互通。

（1）基于因特网的IPSec VPN方案

IPSec VPN方案就是在企业外部站点CPE和VGW上同时创建IPSec VPN隧道，以及相应的IKE（Internet Key Exchange，因特网密钥交换）协议实现隧道互通，同时在隧道之上继续创建BGP邻居来交换两端的业务路由，如图5-64所示。具体的业务发放方式又可以分为两种：一种是松耦合方式，即SD-WAN网络控制器配置CPE，公有云的云平台配置VGW；另一种是由SD-WAN网络控制器统一编排IPSec VPN的创建，既负责站点CPE的IPSec VPN配置，又由SD-WAN网络控制器调用公有云的相关北向API间接进行IPSec VPN配置。

图5-64 站点直连公有云IPSec VPN GW方案

（2）基于MPLS专线（或其他专线）的直接互联方案

用户专线接入VPC方案，即用户专线在接入公有云Direct Connect机房后，租户需要通过公有云控制台调用API来创建专用VIF（Virtual Interface，虚拟接口）并绑定到某个VPC的VGW上。同一根物理专线可以创建多个专用虚拟接口，不同专用虚拟接口之间通过VLAN相互隔离。VGW负责在VPC和站点之间创建BGP进行路由交换。

上述分支站点直连VGW的方案简单易操作，综合成本较低，非常适合中小型企业客户。客户一般只需要为VPN连接以及流量交付月租费用即可，带宽费用为出方向单向收费。该方案适用于企业简单连接公有云的场景，即企业用户的应用系统集中部署在云上某个区域内的VPC，企业分支站点集中访问VPC内的应用系统。通过直连VGW方案可以实现网络业务的快速开通以及统一集中式的管理。

无论采取哪种方式，都会在租户需要互联的VPC中创建一个逻辑的VGW，VGW还提供BGP的动态协议创建功能，从而可以和外网相互进行路由学习。

2.vCPE云站点方案

在某些场景下，用户希望VPC侧的设备能够提供更加丰富的连接功能，比如多VPC互联、更加丰富的隧道（VXLAN等）、应用选路以及网络增值服务（比如广域加速、安全服务等），同时用户希望路由协议的选择以及路由的控制可以更加灵活。这时候可以采用vCPE云站点方案。

vCPE云站点方案适用于企业增强型连接公有云的场景，既可以灵活控制多VPC和企业分支站点网络互联，又可以通过应用选路来保证对网络要求较高的应用的体验，还可以对传输数据进行广域加速等。

该方案将vCPE组件部署在云端构建云站点，并由SD-WAN网络控制器统一编排和管理。通过vCPE云站点方案可以实现企业分支站点和公有云VPC网络的访问控制，可以实现应用选路、广域加速业务的快速部署，可以做到企业分支站点和公有云VPC网络之间的统一控制。

vCPE本质是SD-WAN CPE，具备SD-WAN CPE所有的关键特性，如多VPN互联、应用选路以及广域加速等。部署vCPE时，首先，用户需要在VPC内部创建一个或一对vCPE，并配置业务子网的VPC路由指向vCPE；其次，在vCPE内部，需要通过静态方式向站点发布VPC内的路由。所有上述操作可以通过SD-WAN网络控制器调用公有云的北向API自动编排和配置。

根据连接VPC的方式不同，vCPE云站点方案又可以分为Transit VPC方案和Host VPC方案。下面分别以AWS为例介绍Transit VPC方案，以华为云为例介绍Host VPC方案。vCPE云站点方案做到了和具体的公有云架构的解耦，只需要适配具体公有云的API即可，所以该方案在其他的公有云中同样适用。

（1） Transit VPC方案

Transit VPC是指连接用户业务VPC的独立VPC。该方案是SD-WAN站点接入AWS公有云的推荐方案，在Transit VPC中部署vCPE作为企业的一个云站点，并由SD-WAN网络控制器统一编排和管理。Transit VPC同时也是业务VPC云上的一个Hub站点，用于连接企业已经部署在云上的业务VPC。对于企业来说，通过Transit VPC方案可以实现云站点与SD-WAN站点互联，如图5-65所示。

图5-65 Transit VPC方案介绍

Transit VPC方案可以实现VPC的跨区域互联。对于已经在云上多个区域部署了VPC的企业，可以选择一个区域部署Transit VPC，并通过这个Transit VPC连接云上不同区域的业务VPC以及远端站点。

Transit VPC方案中通过引入vCPE，基于vCPE的路由和VPN功能，灵活控制CPE和VPC的互联互通。Transit VPC方案原理如图5-66所示。

图5-66 Transit VPC方案的原理

Transit VPC方案通过在一个专用的VPC即Transit VPC中部署一个或一对vCPE来让远端站点连接云上不同区域的业务VPC。vCPE的WAN侧可以支持采用因特网和直接连接这两种接入方式连接远端站点。vCPE的LAN侧通过与业务VPC的VGW之间建立IPSec VPN+BGP来交换路由，实现全网路由的学习，从而使得远端站点和VPC互联互通，并具备多VPN互联、智能选路、广域加速等特性，以下是对Transit VPC方案原理的具体描述。

① 租户在云上创建一个新的VPC，即Transit VPC。该Transit VPC将作为企业租户在云上的一个汇聚点，用于连接云端企业业务VPC、数据中心站点和分支站点。

② 在Transit VPC中部署vCPE，根据WAN侧链路数量为vCPE添加等量的WAN侧接口，并分配一张LAN侧接口。

③ 在Transit VPC中为vCPE所在的实例WAN侧和LAN侧申请EIP，WAN侧通过IGW接入因特网，通过在LAN侧创建GRE接口与业务VPC的VGW之间建立IPSec VPN+ BGP连接，实现业务VPC和Transit VPC互访。同时业务VPC间可以通过vCPE的多VPN互联特性（不同的业务VPC可以属于不同的VPN）实现按需访问控制。

④ AWS云端Transit VPC的vCPE可通过IGW接入因特网，非云端站点的CPE也可以接入因特网，这样SD-WAN网络控制器可对vCPE和线下CPE进行统一业务编排。

⑤ 当Transit VPC部署了Direct Connect连接时，vCPE 和CPE之间可以构建IGW+VGW双链路，并可使用智能选路特性。

⑥ vCPE支持丰富的QoS特性，用于流量控制。

⑦ vCPE上报接口流量统计信息，可以通过网络控制器监控云上流量的统计和分析结果。

Transit VPC方案具备如下优势。

·引入Transit VPC，对租户业务VPC的业务冲击小，适应性好。

·引入vCPE，统一由网络控制器管理和编排业务，用户操作具备一致性。可以提供丰富的路由特性和策略特性，可扩展性好。

·Transit VPC作为集中的控制点，可以简化网络拓扑，避免Full-mesh拓扑带来的复杂度。

·Transit VPC作为集中的控制点，可以做到应用可视、安全可视，增值业务的扩展空间大。

某企业的SD-WAN组网及云上VPC部署如图5-67所示。

图5-67 云上VPC部署

企业不同部门的分支站点分别通过因特网1、因特网2、MPLS1和MPLS2网络互联。其中因特网1和因特网2是互通的。企业在AWS上为不同部门申请独立的VPC，要求每个部门的VPC可以与其分支站点多网络互通，但不同部门VPC间均不能互访。

Underlay网络部署

创建Transit VPC，并部署vCPE，Underlay网络的部署如图5-68所示。

图5-68 Underlay网络部署
vCPE上申请3个接口，分别接入Transit VPC的3个不同的子网。WAN1（因特网接口），用于连接公有子网。申请EIP后，可通过IGW接入因特网。WAN1基于因特网可以与企业CPE站点的因特网链路互通。WAN2（MPLS网络接口），用于连接私有子网。通过VGW分别接入MPLS1和MPLS2。VGW将学习到分支CPE站点接入MPLS1和MPLS2的WAN链路路由，实现vCPE与分支站点之间MPLS Underlay网络可达。LAN接口用于连接公有子网。申请EIP后，可通过IGW接入因特网。该接口通过因特网可以与业务VPC的VGW互联。

Overlay网络部署

将vCPE设为云站点，并在SD-WAN网络控制器中完成注册。vCPE的WAN接口分别绑定因特网和MPLS网络的路由域。将云站点加入部门VPN并指定要连接的VPC，网络控制器将进行SD-WAN业务自动编排和发放，在vCPE上创建VRF，并基于VRF建立到CPE和VPC的Overlay网络。

Transit VPC方案的可靠性设计涉及如下几个维度。

·vCPE主备、多区域部署：用户可在Transit VPC中部署两个vCPE，且可部署在不同的可用区域内。利用可用区域本身的可靠性提供数据中心级及设备级的故障隔离。

·vCPE主备独立部署EIP：独立申请vCPE的主备EIP，提供网络级故障隔离。

·vCPE多子网、多EIP部署：vCPE连接因特网的WAN接口、连接数据中心的WAN和LAN接口分别绑定不同子网和EIP，以提供子网级的故障隔离。

Transit VPC方案中业务互联的可靠性设计如图5-69所示。

图5-69 业务互联的可靠性设计

默认情况下，业务VPC中的VGW通过IPSec VPN隧道从两个vCPE获得两条ECMP路由。网络控制器自动为该业务VPC在两个vCPE之间选主备，通过调整路由属性（eBGP），在业务VPC出方向选择一个特定的vCPE作为网关。

默认情况下，CPE站点通过SD-WAN Overlay隧道从两个vCPE获得两条ECMP路由。网络控制器调整其中一条路由的属性（IBGP），在CPE站点出方向选择一个特定的vCPE作为网关。

网络控制器集中编排vCPE的路由属性设置，确保同一条流量的往返路径由同一个vCPE转发。当vCPE发生故障时，可通过BGP的路由处理能力，自动完成流量在vCPE主备间的切换。

在多业务VPC场景下，网络控制器可以在两个vCPE之间做负载分担。

对于安全性部署，Transit VPC中的vCPE所接入的各个子网需要通过网络控制器基于安全组进行安全隔离。

Transit VPC自动化方案通过SD-WAN网络控制器调用AWS提供的API来完成自动化部署。由于Transit VPC中资源众多，如果逐个调用AWS API来创建和修改，逻辑复杂、操作困难。所以SD-WAN网络控制器通过AWS模板将Transit VPC内资源的创建工作交给了AWS本身。模板实例化是一个原子操作，SD-WAN网络控制器不需要考虑单个资源创建失败后的回滚，大大降低了实现的复杂度，保证了可靠性。SD-WAN网络控制器将开局配置注入vCPE中，在vCPE启动过程中会加载开局配置，启动后可以被SD-WAN网络控制器管理。

（2） Host VPC方案

Host VPC是指用户的业务VPC，通过在用户的VPC中部署vCPE，将vCPE作为企业SD-WAN的云站点，由网络控制器统一管理和编排。

Host VPC方案可以实现VPC间的跨区域互联。若企业已经在云端的多个区域部署了VPC，可在每个Host VPC中部署vCPE，由网络控制器进行统一业务编排，实现云端不同区域的Host VPC以及远端分支站点间的互访。

Host VPC方案引入vCPE后，通过vCPE的路由和VPN功能，可灵活控制CPE和VPC的互联互通，如图5-70所示。

Host VPC方案通过在业务VPC内部署一个或一对vCPE来实现远端站点与业务VPC的连接。vCPE的WAN侧可以支持因特网和云专线这两种接入方式用于连接远端站点。vCPE的LAN侧与Host VPC的子网相连，并在Host VPC中配置VPC路由指向LAN侧接口，让Host VPC访问远端站点的流量都经过vCPE，从而使得远端站点和VPC互联互通，并具备多VPN、智能选路、广域加速等特性。以下是对Host VPC方案的具体描述。

① 在每个Host VPC内部署vCPE，使vCPE作为VPC的出口网关，成为企业SD-WAN在云端的站点。若需增强可靠性，可在两个AZ内各部署一台vCPE，由网络控制器进行统一业务编排、监控vCPE的状态和指导VPC路由切换。

图5-70 Host VPC方案原理

② vCPE上申请3个接口分别接入Host VPC的3个不同子网，其中一个WAN接口通过EIP连接因特网，另一个WAN口连接云专线；LAN接口与子网相连，并作为连接其他子网的汇聚点。在Host VPC中配置汇聚或默认路由，将其他子网前往默认或汇聚路由的下一跳指向vCPE LAN接口，实现Host VPC的出口流量都经过vCPE。

③ 基于因特网，不同Host VPC之间通过vCPE建立SD-WAN连接，实现站点CPE和Host VPC之间的互通。

④ 基于云专线网络，Host VPC和CPE之间可以构建云专线和因特网双链路。

⑤ 网络控制器通过vCPE上报接口流量统计信息，可监控云端流量的统计数据和分析结果。此外，网络控制器可调用公有云的北向API进行配置。

为了实现CPE至Host VPC之间互通，可在业务VPN中创建两个Overlay隧道分别经过因特网和云专线与CPE互通，并通过IPSec加密；在Overlay 隧道之上建立BGP邻居，互相发布LAN侧路由，CPE可学习到VPC的业务子网的路由，vCPE也可学习到CPE侧路由。

为了实现vCPE至VPC内的业务互通，当访问VPC的业务流量进入vCPE的WAN口时，根据vCPE内的路由信息，将流量转发到vCPE LAN口的网关地址，即VPC内的vRouter；vRouter会根据访问VPC的目的地址将流量转发到VPC内的业务地址。vCPE至VPC内业务互通的实现如图5-71所示。

图5-71 vCPE至VPC内的业务互通

Host VPC方案中业务互联的可靠性设计如图5-72所示。

图5-72 业务互联的可靠性设计

建议用户在Host VPC中部署两个vCPE，且位于不同的AZ。利用AZ本身的可靠性提供数据中心级和设备级的故障隔离。

·vCPE多子网部署：vCPE连接因特网的WAN接口、连接数据中心的WAN接口和LAN接口分别绑定不同子网及EIP，以提供子网级的故障隔离。

·当Host VPC中部署两个vCPE时，分支站点CPE与vCPE之间均需建立连接。

·网络控制器为Host VPC选择vCPE主备，并调整主vCPE上的路由优先级高于备vCPE，同时调整Host VPC路由下一跳指向主vCPE，从而使往返流量均经过主vCPE。

网络控制器可监控vCPE的状态，一旦主vCPE发生故障，网络控制器修改Host VPC回程路由，使下一跳指向备vCPE，实现主备切换。

3.多租户云GW方案

IPSec VPN GW方案和vCPE云站点方案是适合企业自建SD-WAN场景下的连接公有云方案，多租户云GW方案则是适合运营商运营的一种SDWAN上云方案。以上几种方案具备各自的技术优劣势，适用于不同的业务场景和公有云架构，实际部署中，可以按需灵活选择。

多租户云GW方案在公有云上部署一台或者多台多租户的SD-WAN GW设备（云GW）。一方面，在网络控制器的编排和控制下，在分支CPE和云GW之间创建SD-WAN隧道，从而实现分支站点与云GW互通；另一方面，按需配置云GW与租户VGW的互联，比如通过背靠背的Option A方式，在每个租户的VPN配置VLAN接口或者与VXLAN接口对接，并运行eBGP，从而实现企业分支网络与公有云的互通，如图5-73所示。

图5-73 云GW方案

下面介绍多租户云GW方案的部署原理。

·将云GW部署在公有云。

·根据用户接入业务的需要，可以分配两个WAN口，一个通过因特网接入，另一个通过专线接入。

·通过因特网接入的WAN口一般建议连接到因特网出口的网关设备。通过专线接入的WAN口一般建议连接到专线出口的网关设备。

·分配和WAN口等量的LAN口，一块连接因特网的接入交换机，另一块连接专线的接入交换机。

·云GW由运营商通过SD-WAN网络控制器进行统一管理和编排。

·运营商可以在SD-WAN网络控制器的MSP视图下，按需为租户的每个VPN配置对接方式，包括与因特网的接入交换机对接以及与MPLS专线的接入交换机对接，可以通过VLANIF接口或者VXLAN接口，经由BGP路由或者静态路由将租户VPC路由发布到云GW。

·运营商可以在SD-WAN网络控制器的MSP视图下为租户按需发放云GW互联服务。企业租户可以选择远端站点连接云GW，使得远端站点和云GW建立SD-WAN隧道。云GW会将租户VPC路由发布到租户的远端站点，将租户的远端站点路由发布到接入的交换机，从而实现租户的远端站点和VPC互联。由于路由发布学习都是基于租户VPN的，从而实现了多个租户连接到同一个云GW的网络隔离，达到了多租户云GW的效果。

5.9.4 混合云方案

传统混合云场景是云网分离的，无法基于业务的要求对公有云相关网络资源进行灵活的调度。在SD-WAN混合云方案中，各种云被抽象成一种特殊的云站点，统一由SD-WAN网络控制器管控，并借助IP Overlay技术，屏蔽多云互联技术的差异，从而实现多个不同类型的混合云网络之间快速、简单和高品质的互联。同时，面向云业务开放北向API，将SD-WAN统一集成到混合云业务平台中，实现云应用端到端的统一管理，做到云网深度融合。

1.私有云与公有云互联

企业私有云和公有云的互联是最常见的混合云场景，如图5-74所示。在该场景下，可以根据SD-WAN的商业模式和企业自身的业务特点，选择多种不同的SD-WAN解决方案。

如果企业自建SD-WAN，可以采用vCPE云站点的方案。首先，通过SD-WAN网络控制器离线规划和配置公有云站点；然后，通过SD-WAN网络控制器远程自动拉起公有云的vCPE，在SDWAN网络控制器的统一管控下，自动建立私有云站点和公有云vCPE站点之间的网络互联。如果企业在公有云租用了多个VPC，则可以部署Transit VPC方案或Host VPC方案。

图5-74 私有云与公有云互联

如果公有云提供商除了向企业提供公有云服务外，还提供SD-WAN服务，则建议优先考虑部署多租户云GW方案。在公有云部署一台或者多台支持多租户的SD-WAN GW后，一方面，为了实现该GW与公有云网络的互联，通常公有云会提供一个多租户的GW与SD-WAN GW进行对接，两个GW之间可以通过部署背靠背的子接口或者VXLAN隧道方式进行互联（Option A方式），同时部署BGP等动态路由协议进行路由学习和业务互通；另一方面，在SDWAN网络控制器的统一管控下，完成私有云站点到公有云SD-WAN GW的网络互联，从而最终实现企业的私有云到公有云、企业各站点到公有云/私有云之间网络的互联互通。

2.异构公有云互联

受限于单一公有云提供商的资源和区域覆盖能力的不足，企业通常会同时在多个不同的公有云上部署业务，如图5-75所示。由于涉及多个不同的公有云提供商，可以优先考虑采用vCPE云站点互联方案。该方案采用的架构与公有云的基础架构相解耦，只需SD-WAN与公有云业务平台进行轻量级的对接，即可快速部署。

图5-75 异构公有云互联

具体来说，首先通过SD-WAN网络控制器离线规划和配置各个不同的公有云站点；然后，SD-WAN网络控制器远程自动拉起各个公有云的vCPE，在SDWAN网络控制器的统一管控下，自动建立起不同公有云vCPE站点之间的网络互联。如果企业在同一个公有云租用了多个VPC，则可以混合部署Transit VPC方案，通过Transit VPC实现多VPC的互联。

第6章 应用体验有保障

伴随着企业业务全球化的浪潮，企业通过分支之间的WAN链路互联，实现了国家和地区的跨越。企业分支互联使用的介质多种多样，从有线的以太电缆和跨洋光缆到无线网络和卫星链路，多种多样的互联技术以更紧密的方式连接了企业中不同区域的分支，促进了企业业务的发展。

但是复杂的网络也导致了链路质量的不可控，由于WAN链路的物理距离较长，中间转发节点较多，网络质量充满不确定性，网络丢包、时延、抖动等成为困扰企业的难题。

因此，能够充分利用多种链路来持续保障应用的可用性和良好体验，成了具有混合WAN链路的企业的必然需求。为满足这种需求，SD-WAN的应用体验保障方案应运而生。

6.1 保障方案介绍

企业的应用种类繁多，常见的有生产类、协同类、云化类、娱乐类等。不同类型的应用对带宽和链路质量的要求各不相同。例如，在协同类应用中，实时视频会议对链路的丢包率、时延、抖动的容忍度非常低，链路一旦出现丢包，就会导致卡顿、花屏；而在生产类应用中，电子邮件、FTP（File Transfer Protocol，文件传输协议）等文件传输类应用则对丢包率相对不敏感，但是对带宽要求高，以求尽快完成传输。

从企业各类应用对网络的需求来看，传统WAN存在以下问题。

（1）不同价值的应用运行在相同链路上

这包含了两层含义：不能区分多种应用的流量，不能动态调整低优先级的应用流量来避让高优先级流量。以语音通话和FTP文件传输为例，语音通话和FTP文件传输这两种应用时对链路质量的要求不同，但是当两种应用的目的地址相同时，由于传统路由技术不能识别应用，无法将不同应用分流到不同链路上，可能导致网络拥塞。网络拥塞后，无法让低价值的FTP文件传输应用动态避让语音通话应用，即无法把FTP文件传输流量调整到因特网链路，以保证语音通话一直运行在高质量的MPLS链路上。

（2）链路质量下降时，应用不能动态选路

传统的IP网络使用路由协议计算报文的路径，但这些路由协议（BGP/ OSPF协议等）只看到报文，而看不到应用。因此，路由协议的算法仅考虑报文的可达性，而没有考虑链路质量对应用可用性的影响。这导致网络运维管理和应用体验管理间存在鸿沟，只能靠网络运维人员静态配置网络。在链路质量发生变化时，要通过手工方式调整网络的转发路径，不能自动地根据链路质量的变化动态选择转发路径。

（3）链路质量劣化时，缺少有效的改善手段

由于因特网不提供可靠的传输，所以在网络发生丢包时，应用的传输效率会降低。当企业无法选择更好的链路时，缺少有效的改善手段会导致应用的体验变差。例如，在所有可用链路的质量同时变差时，语音应用在数据包丢失过多的情况下会导致语音模糊，甚至呼叫中断，因此需要利用网络优化技术解决此类问题。

从传统WAN的问题可以看到，企业需要一种可以识别应用并且保障应用体验的方案。SD-WAN解决方案针对以上问题，提出了企业的应用体验保障方案，该方案包含以下几部分，如图6-1所示。

图6-1 应用体验保障方案

1.应用识别

应用识别是指根据网络流量的特征，确定流量归属到某个企业应用的技术。因为不同企业应用对链路质量的要求各不相同，相应的优化保障措施也有所不同，所以应用识别是体验保障方案的前提。

2.应用选路

传统网络技术不能根据不同应用对链路质量的要求动态选择路径。应用选路方案是基于企业应用的优先级和对链路质量的要求，通过对多个WAN链路状态的持续监测，从而实现链路选择的方案。该方案既可以使多种企业应用充分利用高质量的链路，也能保证在链路拥塞时高价值应用的体验不会下降。

3.QoS方案

QoS方案是在传统的QoS技术（流量监管、流量整形、队列调度等）功能的基础上进一步扩展，增加企业业务感知功能，从而实现对纷繁的企业应用提供差异化服务的方案。此外，在企业多部门需要隔离的场景下，该方案还提供基于企业部门的服务质量保障，形成“业务—部门—站点”这种层次化的质量保障。

4.广域优化

广域优化是提高数据在WAN链路上的传输质量和效率的一系列技术，包括广域优化技术、抗丢包技术等。广域优化技术关注如何在低质量的链路上获得良好的企业应用体验；抗丢包技术可以在链路质量下降、出现大量丢包时，仍能保证视频不出现卡顿和花屏。此外，广域优化也提供传输优化和数据优化技术以提升数据传输的效率。

以上4个子方案可以单独配置，也可以综合使用。通过配置多种策略，可以做到识别应用后，自动应用选路、QoS和广域优化，从而自动化地保障应用体验。

6.2 应用识别

企业应用的数据在网络上传输，就像汽车在公路上行驶，只有识别出车辆的类型，才能对其进行有针对性的管理。例如，小汽车可以在快车道迅速通行，行动笨重的大型汽车需要在慢车道通行，而要求安全稳妥的公交车则有专门的车道。同样，在对应用进行识别后，也可以针对不同应用提供差异化服务。因此，应用识别是应用选路、QoS和广域优化技术的前提。

接下来介绍企业应用的特点并探讨应用识别技术。

6.2.1 应用分类

首先来看企业WAN主要承载哪些企业应用。简单来说，常见的企业应用主要分为以下几类，如图6-2所示。

图6-2 常见的企业应用分类

1.生产类应用

生产类应用主要包括ERP、CRM以及电子邮件等与企业生产业务紧密相关的重要集中访问型应用。这类应用一般集中部署在总部或者数据中心的服务器上，因此需要多个分支节点跨越WAN，到总部或者数据中心进行集中访问。

2.协同类应用

协同类应用主要是指企业办公期间，个人以及组织之间进行VoIP、视频会议沟通和交流的协作类应用。这类应用一旦建立会话，出于对业务性能的考虑，一般需要在通信的分支站点之间直接进行数据交换。

3.云化类应用

随着云计算的普及，越来越多的企业应用向SaaS云化转变。比如随着Office365的逐渐流行，企业本地安装Office办公软件的传统使用方式，转变为借助浏览器访问云中的Office365应用服务器的方式，从而构成了企业分支站点到SaaS云的流量模型。

4.娱乐类应用

除了上述企业办公类相关业务，企业中还会存在员工或者访客通过因特网听音乐以及观看视频等业务。

应用体验保障方案需要针对不同应用，采用不同的技术手段进行优化，所以首先要对应用的特点进行分析，才能选取合适的体验保障技术。

对于企业应用，主要考虑其在WAN传输时，对网络的带宽、丢包率、时延、抖动等指标的要求。

（1）丢包率

丢包率是指在传输时，丢失数据包的数量占所发送数据包的数量的比例。网络传输报文时，很多情况会导致丢包。例如，因为网络拥塞，中间网络设备在占满缓存后还无法及时转发，从而导致报文丢失；或者无线网络有遮挡或干扰时，信号强度变差，传输出现差错，从而导致报文丢失。丢包后，视频如果继续播放，就会出现花屏，且下一幅关键图像会出现卡顿。

（2）时延

时延是报文在指定的两台设备之间的链路上传输的延迟时间。时延与链路的传输速度、中间设备的缓存占用有关。如果时延很大，语音视频通话就会感觉到延迟，对方反应迟缓或者要停顿一下才能反应。一般情况下，双向通话类应用的时延只有小于100 ms时，用户才能得到良好的体验。

（3）抖动

抖动是指相邻两个报文的接收时间间隔减去这两个报文的发送时间间隔的差。抖动反映了时延的变化。在网络传输时，各个数据包从发送端到接收端的时延并不相同，有的数据包时延小，有的数据包时延大，这就产生了抖动。不同数据包时延有差异的原因有很多，例如前后报文到达对端的路径不同，或者中间网络设备的CPU负载发生变化、缓存占用发生变化或者经过不同队列等。

音视频应用一般通过缓存的方式来解决抖动，虽然报文的到达速率不一致，但通过缓存后都能够以平稳的速率播放。但是抖动过大时，通过缓存来解决抖动就会出现问题，这是因为如果增大缓存，就会增加等待时间，从而导致音视频播放延迟；如果不增大缓存，就会出现丢包，从而导致视频卡顿或花屏，声音听不清或丢失。

不同应用对链路质量的要求各不相同，所以对体验的保障措施也就不同。一些典型应用对链路质量的要求如表6-1所示。

表6-1 典型应用对链路质量的要求

了解应用的种类和需求后，接下来就是把它们从“公路车流”中挑出来分门别类。识别应用的方式有多种，传统的方式有根据报文五元组识别、根据报文流量特征识别、根据报文载荷识别等；比较特殊的方式有根据DNS（Domain Name System，域名系统）识别、关联识别等。

应用浩如烟海，相应的识别技术也非常多，如果以“是否能在接收到首包时就识别应用”为标准对识别技术进行划分，大致可以将其分成两类：首包识别技术和特征识别技术，且每一类又都有相应的子技术，如图6-3所示。具体来看，可以在首包到达时就能识别应用的技术，被称为首包识别技术；需要深入分析多个报文特征才能识别应用的技术，被称为特征识别技术。

图6-3 应用识别技术分类

在SD-WAN 使用场景下，对应用进行识别和分类后需要继续进行业务处理，因而应用识别技术非常重要，不像防火墙只需做简单的阻断或放行即可。接下来将详细介绍应用识别技术。

6.2.2 首包识别

首包识别是指对数据流的第一个报文进行检测，从而识别应用的技术。该技术可以使网络设备在会话的第一个报文到来时就采取相应的处理，从而节约了网络资源。

在下面这些场景中需要使用首包识别技术。

·在基于应用的选路场景中，如果在接收到第一个数据报文时就正确识别应用，让流量在正确的链路上传输，就可以避免应用在识别前在A链路上传输，在识别后在B链路上传输，从而避免因为链路切换影响应用体验。

·在云化应用场景中，SaaS云应用的流量需要从分支机构直接发送到因特网，而不是浪费带宽将流量绕行到数据中心，以此来减少网络时延和费用。

·在员工上网场景中，当应用的流量所经过的链路上存在NAT设备时，如果不能通过首包识别技术来识别应用，就会因为TCP握手报文没有经过 NAT处理，导致应用的报文被丢弃。

·在安全场景中，首包识别能让应用在第一个报文到来时，就匹配安全策略，及时阻断恶意应用，避免安全风险和流量浪费。此外，首包识别无须关注应用的载荷，可以解决加密的应用流量无法被识别的问题。

首包识别技术通常采用以下几种方式。

1.协议识别

通过提取数据包中的关键信息，查找首包识别表来匹配应用的方式就是协议识别。

因为首包识别主要针对IP中IP报文头、TCP报文头、UDP报文头中的一个或多个字段进行识别，所以可以把报文五元组、DSCP（Differentiated Services Code Point，差分服务代码点）等信息记录到首包识别表中。首包匹配时直接查表，从而在数据流的第一个报文到达后即可识别应用。

首包识别表可以匹配的IP字段如图6-4所示。首包识别的IP字段包括Tos（Type of Service，服务类型）、源/目的IP地址、协议字段、端口等，具体介绍如下。

图6-4 首包识别的IP字段

（1） ToS

ToS字段用于标识IP报文的优先级和业务对网络的要求。

·时延要求：正常时延或低时延。

·吞吐量要求：正常吞吐量或高吞吐量。

·可靠性要求：正常可靠性或高可靠性。

IETF DiffServ工作组在RFC 2474中将IPv4报文头ToS域中的bit 0～5（共6 bit）重新定义为DSCP，并将ToS域改名为DS（Differentiated Service，差分服务）域。DS域根据DSCP的值选择相应的行为。因此，很多企业使用DSCP值对企业业务进行分类，并提供不同的服务。

DSCP的取值范围是0～63，数字越大，优先级越高。由于通过数字不容易理解其含义，因而可将DSCP的值分成4类，并分别命名，具体如下。

·CS（Class Seclector，类选择器），二进制格式为“aaa 000”，由于前3 bit可变，所以CS类有CS1～CS7。

·EF（Expedited Forwarding，加速转发），二进制格式为“101 110”，值为46。

·AF（Assured Forwarding，确保转发），二进制格式为“aaa bb0”，分成AF1、AF2、AF3、AF4共4个小类，每一类有3个值。

·BE（Best Effort，尽力而为），值为0，作为DS域的默认值。对于企业业务一般可以采用如下方法分配DSCP值。

·CS6和CS7用于协议报文。如果无法接收这些报文的话，会引起协议中断，所以需要用最高优先级传输。

·EF用于承载语音的流量。因为语音要求低时延、低抖动和低丢包率，是仅次于协议报文的最重要的报文。

·AF4用于承载语音的信令流量。信令是电话的呼叫控制信息，用户可以忍受在接通的时候等待几秒，但是不能允许在通话的时候发生中断，所以语音要优先于信令。

·AF3用于承载视频会议的流量。因为会议的实时性很强，所以需要连续性和大吞吐量的保证。

·AF2用于承载视频点播的流量。因为相对于视频会议，点播业务对实时性的要求不是很强，允许有时延或者缓冲。

·AF1用于承载一般的业务，例如数据备份、电子邮件等。

·BE用于承载不重要的业务，例如上网和娱乐类业务等。

可以说，有了DSCP，就初步实现了通信业务中的优先级划分，从而使重要的业务保质保量地高效运行。所以，SD-WAN解决方案可以基于DSCP识别企业业务。

（2）源/目的IP地址

通过源/目的IP地址，可以知道报文从何处来、去往何处。因为IP地址可以分配给不同的设备、部门、公司、区域/国家，所以通过IP地址可以识别这些业务信息。

例如，在企业内部管理时，通常会知道重要的业务所在的服务器IP地址，所以可以通过报文中的服务器IP地址来识别相关业务。

（3）协议字段

IP报文头中的协议字段表示IP层上承载的协议，通过解析协议字段可以知道业务类型，如ICMP（Internet Control Message Protocol，因特网控制报文协议）、DNS等。

（4）端口

如果协议为TCP或UDP，还可以进一步检测TCP或UDP头部字段中的端口。以TCP为例，如图6-5所示。

图6-5 首包识别的TCP字段

由于很多服务或应用使用固定端口，所以可以根据端口来识别业务。

端口被划分成3段，具体如下。

·知名端口号为0～1023，这些端口号一般固定被分配给一些服务，比如21端口被分配给FTP服务。

·注册端口号为1024～49151，这些端口号多数没有明确定义服务对象，不同应用可根据实际需要自己定义。

·剩下的端口号为49152～65535，这些端口号为动态端口号或私有端口号，一般不固定用于某个企业应用。

对于常见的应用，可以通过预置首包识别库供用户使用。对于预置首包识别库里没有的应用，可以由用户自定义。

由于首包识别最终都是通过报文的二层～四层信息进行匹配的，因此自定义应用时，要注意不同应用的二层～四层信息不能完全相同。

通过查找首包识别表的方式可以有效地识别具有固定端口或地址的业务，但是识别的精度有限，一般只能识别应用协议。因而如果多种应用使用相同协议，则无法区分，需要使用高级的识别方式进一步检测。

例如，HTTP使用80端口通信，因此，通常典型的Web应用就使用80端口，但是也存在以下特殊情况。

·Web应用有很多，不同网站都使用80端口。仅从端口无法区分是哪个网站的流量。所以需要对流量进行深入检测，识别HTTP请求中的Host字段或者URL，进行关键词匹配从而识别具体是什么网站。

·有些应用为了避免被防火墙拦截，也会使用80端口。例如，Skype在其他端口不可用时，可能会使用80端口。在这种情况下，需要检测报文中是否有应用的关键字，如果应用是加密的流量，还要配置特征识别，进行深度检测。

·一些应用也使用80端口提供RESTful接口，供客户端应用或者Web网站访问。对于这类流量进行关键字匹配即可识别。

·即使是Web应用，也不一定使用80端口。管理员可能配置为8080或采用更安全的SSL（Secure Socket Layer，安全套接字层）加密协议，例如使用443端口。此时从80端口检测不到该应用的流量，于是就需要检查该应用可能使用的其他端口。

2.DNS关联识别

首包识别还提供了基于DNS的关联识别技术。如果应用是以域名方式定义的，当进行DNS解析时，CPE可以将域名（例如www.example.com）和DNS应答的IP地址（如1.1.1.1）进行匹配和缓存，使得在后续TCP握手时，可以根据首包的IP地址检测出应用类型，如图6-6所示。

图6-6 DNS关联识别

此外，DNS关联识别在数据流量加密的场景下也可以使用。虽然数据经过加密后，对外显示的是无法被理解的密文，但是由于前面的DNS关联识别过程是相同的，所以也可以用于识别加密流量。

6.2.3 特征识别

如前文所述，虽然首包识别可以在第一时间识别应用，但不是对所有应用都有效。有些应用的特征深深地隐藏在会话的数据流中。此时首包识别只是浮光掠影的一瞥，很难识别出应用的真面目，这就需要采用特征识别了。

特征识别技术是通过匹配应用报文的特征来识别应用的一种技术。对于基于TCP的应用，由于TCP握手阶段的三次握手报文不传输应用载荷，因此只有在握手成功后、传输有载荷的报文时，才能进行识别。

相比首包识别，特征识别更细致、精确。特征识别所考察的应用的特征信息不再是简单的DSCP、协议号、IP地址和端口号，而是报文载荷中的某些特征关键字、应用发送报文的速率、多个报文的长度序列等信息。特征识别通过对这些信息进行更细致、更综合的考察，从而确定报文所属的应用。由此可见，特征识别适合应用在多通道协议或者端口号不固定的场景。

从识别方法上看，特征识别应用一般有报文特征字识别、关联识别、行为识别和全网同步识别等。

1.报文特征字识别

对于未公开的协议（如当前多数的P2P、VoIP），厂家出于多方面的考虑，不公开其协议细节，这时可通过报文流中的某些有明显特征的字符序列来识别应用。该方法工作量大，而且协议变化快，必须不断进行技术跟踪才能保证检测的高效、可靠。

在报文特征字的识别过程中，如果单个报文的特征比较弱，就需要结合多个报文的特征来增强特征。特征识别过程可分为单报文识别和多报文识别两种情况。多报文识别由于需要检测和记录多个报文的检测结果，所以资源开销高于单报文识别；同时也由于无法做到首包识别，会影响需要首包识别的业务。

此外，因为特征字识别需要对报文载荷进行匹配来识别关键字，而TCP的握手阶段不传输载荷，所以在TCP的握手阶段不可能进行特征字识别。因此，一般把特征字识别归入特征识别类技术。

2.关联识别

当应用变得复杂时，为了追求更好的性能和更优的架构灵活性，很多应用会采用协议通道和数据通道分离的方式通信，这就使得实际传输数据的通道是动态协商出来的。如图6-7所示，VoIP、P2P应用以及一些文件传输类应用（例如FTP）采用端口识别的方式时，仅能被识别出协议通道，而真正的音频、视频和文字的数据传输通道是无法被识别的。

多媒体通信中，实际的音频、视频和文字通道是协商后再动态产生的。这些通道的源、目的端口号等不同于初始连接时的知名端口号，且这些端口号被承载于协商的报文内容中。因此需要解析协商报文，才能提取动态协商的端口号，然后将这样的流量标记为相应应用的类型。这种需要多个通道协同检测的技术被称为关联识别技术。

图6-7 动态协商端口

3.行为识别

对于一些复杂的加密应用，试图使用端口或者特征字来识别都是徒劳的，这是因为端口可以动态协商，特征字被加密流量保护，且每次加密都不相同。

对这种应用流量的识别有两个思路：一是解密再识别；二是流量行为识别。其中，第一种方式需要对流量做代理，并在设备上内置企业的私钥，方案部署复杂，本书不详细分析。第二种方式是对应用报文进行行为特征分析。具体是指根据报文中端口的范围、报文长度统计、报文发送频度、报文收发比例以及目的地址的分散程度等情况综合识别应用。例如在VoIP应用中，语音数据报文长度通常较为稳定，发送频率较为恒定；P2P网络应用单IP的连接数多，每个连接的端口号都不同；文件共享数据报文比较大并且大小稳定，等等。通过以上这些行为特征可以识别应用。

行为识别适用于比较复杂的协议和加密协议识别的场景。这是因为复杂协议没有特征关键字作为识别特征，加密报文也不能提取关键字。

4.全网同步识别

在SD-WAN场景下，多个站点和设备是协同工作的，所以相比传统的应用识别技术，该场景下又多了一种全网同步识别结果的方式。

全网识别有两种部署架构，具体如下。

（1）分布式识别

与首包识别表类似，动态映射表里面也记录了报文五元组、DSCP等信息，用于首包匹配时查表识别应用。不同的是，这些信息是特征识别的结果，并且是动态加入的。如图6-8所示，CPE1通过特征识别，将识别结果（如应用A和应用B）导入网络控制器，然后再分发到其他CPE。其他CPE因此可以共享这些识别信息，复用这些识别结果，这就是分布式识别方式。

图6-8 分布式识别

对于SaaS云应用的识别，还有一种特例。因为SaaS云应用的地址集比较大，并且会经常变化，所以可以把网络控制器部署在公网，由厂家维护应用识别结果，并定期向各CPE推送识别结果。这种方式可以向不同地域的CPE有针对性地推送最佳的SaaS地址，以供CPE选择最佳的链路进行数据转发。

（2）集中式识别

在SD-WAN场景中有可能存在设备对一个应用的流量收集不完整的情况。一种典型情况是站点有多个出口时，可能会有流量路径不对称的情况，例如去方向的流量和反方向的流量所流经的路径不一致，从而导致中间设备只有一个方向的流量。

此时，中间设备基于应用的部分流量可能无法用于应用的识别，需要全网集中识别。通常做法是部署一个集中识别的网络控制器，各CPE将不能识别的流量发送到网络控制器并由其集中识别。网络控制器获取完整的流量后，就可以做应用识别，然后把识别结果发布到各设备上，过程如图6-9所示。

B和D都只能得到一个方向的流量，不能识别应用，所以各CPE把需要识别的数据发送到网络控制器并由其集中识别。网络控制器识别后，把识别结果发送给有需要的设备。

图6-9 集中式识别

6.3 应用选路

6.3.1 选路场景

实际生活中，出门有多种交通方式可选择时，人们通常会考虑以下多种因素。

·时间：办紧急重要的事情时坐高铁甚至乘飞机，而不紧急时坐大巴或者普通火车。

·道路拥堵：前方道路拥堵则改道而行。

·确定性：坐公交和打车时会堵车，不能保证准点到达，而地铁则比较准时。

·备用方式：交通工具坏了，备用方式是步行。

·价格：打车贵，兜里没带钱，只能坐公交。

以上这些是交通方式或道路的相关属性，人们从中根据事情的紧急程度、经济状况、出行目的等，选择一种能接受的出行方式。

城市交通的管理者不仅基于以上考虑，还会站在整体规划交通网的层面做更深的考虑，具体如下。

·道路负载情况：有的道路拥堵，有的道路畅通，可分流一部分拥堵道路的车去畅通的道路。

·特权车辆：遇到消防车、救护车等，其他车辆都要避让。

网络中的流量转发选路也有着与交通管理类似的场景。需要思考的是：应用的流量被区分出来以后，应该根据什么标准选路？具体有什么样的选路策略？

仿照实际生活中的选路方式，从应用自身和全局视角出发，可以总结出下面3种典型的选路场景：链路质量选路、链路负载分担选路和应用优先级选路，具体如下。

1.链路质量选路

有的应用对链路质量要求高，而有的应用对链路质量要求低，不能把所有的应用都放到链路质量最好的链路。例如，把FTP流量放到昂贵的MPLS链路上并不是一个好主意，这样做不仅占用带宽，还会影响音视频的质量。通常情况下，各个企业会根据自己的带宽和可以负担的经济条件，为不同应用选择不同的链路。例如，VoIP优先选择链路质量较好但价格较高的MPLS网络；FTP优先选择时延较大、丢包率相对高但带宽大、成本低的因特网，如图6-10所示。

图6-10 不同应用选择不同的链路

WAN的链路质量是应用选择这条链路最重要的因素，但链路质量并不是一成不变的，随着链路上传输数据量的增加，链路的时延、丢包率、抖动都可能变化。如果链路质量变化了或链路发生故障，就需要把不满足质量要求的应用迁走，迁到可以满足质量要求的链路上。如图6-11所示，链路质量下降时，VoIP的后续流量或后续报文会被切换到质量较好的链路上。

使用链路质量选路，可以通过使用多条链路，在链路质量不同时劣化的情况下，通过切换链路来选用满足质量要求的链路，从而保障应用体验。

链路质量选路的关键点如下。

（1）配置各种应用对链路的质量要求，使得只有满足应用要求的链路才能被选中。但是，在通常情况下，除了专业的网络管理人员外，一般技术人员并不非常清楚应用对链路的质量要求，因此SD-WAN解决方案提供了预置应用模板，并列出了各种应用所需要的链路质量。

图6-11 链路质量选路

SD-WAN解决方案支持的链路质量模板的常见类型如表6-2所示。

表6-2 链路质量模板的常见类型

（2）动态检测链路质量，判断当前链路是否满足应用的要求。这需要SD-WAN解决方案能够对所有链路进行大量的实时检测。质量检测技术比较复杂，下一节将专门介绍。

（3）当路径链路质量下降或不可用（如链路断了）时，能够自动切换到其他低优先级的链路上，以保障网络的高可用性，即再次选路。此外，再次选路需要考虑链路的优先级和链路组，具体如下。

·链路的优先级表达了用户对希望使用的链路的倾向性。例如，如果用户希望VoIP应用优先使用MPLS专线，但是当MPLS专线质量下降时，也可以使用因特网。那么就可以对VoIP应用进行链路优先级定义：MPLS链路的优先级是1（首选），因特网链路的优先级是2（次选）。

·链路组用来定义逃生链路。例如，企业经常使用LTE网络作为逃生网络，因为LTE网络虽然接入方便，随时随地可用，但是速率相比企业专线不高，并且按流量计费，成本昂贵，因而企业并不希望将其作为主链路。此时，可以把LTE定义为备链路组，使只有当其他链路组的链路都中断时，SD-WAN才会把应用流量引入LTE网络逃生。

2.链路负载分担选路

当存在多条链路时，企业希望能够充分利用链路的带宽，使得带宽大的链路上多跑流量，带宽小的链路上少跑流量。此时可配置链路负载分担方式的选路调度方式，基于链路带宽进行负载分担选路。

例如，企业购买了不同运营商的两条MPLS链路，一条链路的带宽是100 Mbit/s，另一条链路的带宽是50 Mbit/s。可将VoIP业务的主链路设置为这两条MPLS链路。在两条链路质量均满足VoIP业务链路质量要求的前提下，VoIP业务可以以流量的方式进行负载分担，运行在两条MPLS链路上。通过实时监控带宽的利用率，充分利用链路带宽，如图6-12所示。

图6-12 链路负载分担选路

在网络上使用负载分担选路，需要CPE能够实时探测和统计链路的带宽利用率、应用的带宽占用率等，做出智能的流量分担决策。

需要说明的是，以上过程是通过把多条链路设置成相同优先级来实现的。当多条链路都满足链路的质量要求，并且优先级相同时，会基于多条链路的带宽进行负载分担，使得带宽大的链路分担的流多，带宽小的链路分担的流少。

3.应用优先级选路

如果在同一条链路上有多种业务报文，为了在链路出现拥塞时优先保证高优先级应用的使用，使低优先级应用避让高优先级应用，可设置应用优先级选路。例如VoIP和FTP的数据流都运行在MPLS链路上，在链路带宽不够时，优先保证VoIP业务不受影响。

例如，由于MPLS链路质量比因特网链路好，为充分利用MPLS链路，将VoIP业务和FTP业务的主链路选择为MPLS，备链路选择为因特网，并设置VoIP业务的优先级高于FTP业务。初始时，VoIP业务和FTP业务均选择MPLS链路，随着VoIP业务和FTP业务的增加，MPLS链路出现拥塞，为保证VoIP业务的体验，将FTP业务逐步迁移到因特网链路。此外，为充分利用MPLS链路的带宽，可以配置成在MPLS链路恢复时，将FTP业务逐步迁移回MPLS链路，如图6-13所示。

图6-13 应用优先级选路

应用优先级选路的关键技术与链路质量选路有些类似，都需要实时检测各种链路的质量，但应用优先级选路在链路质量选路的基础上增加了带宽统计，由CPE统计各种应用流量占用的带宽，使得当链路拥塞时，可以按应用的优先级迁移流量，优先把低优先级的流量迁移到其他链路。

综合上述各种选路场景来看，SD-WAN选路方案需要实时检测应用的运行质量和链路质量，当应用的运行质量不理想或者链路质量不理想时，系统可以动态地执行选路策略。因此，质量检测是选路的前提条件。

6.3.2 质量检测

上一节讲到，应用选路需要实时地根据链路质量进行选路策略的动态调整。因此，链路质量实时检测技术是高质量应用选路的关键技术。

实时检测应用和链路质量的技术可以分为主动检测技术和被动检测技术，具体如下。

主动检测技术要求设备主动发送探测报文，通过双端交互收发包的数量、时间戳等信息，计算出网络的丢包率、时延、抖动等。通过固定周期的主动探测，能够定时获取网络质量的信息，但是需要额外占用网络带宽，并引入时延。主动检测技术测量的结果实际是探测报文的结果，确切来讲并不是应用数据的质量。

常见的主动检测技术是NQA（Network Quality Analysis，网络质量分析）。NQA是一种实时的网络性能探测和统计技术，可以对响应时间、网络抖动、丢包率等网络信息进行统计。NQA能够实时地监视网络QoS，并在网络发生故障时进行有效的故障诊断和定位。

NQA通过监测网络上运行的多种协议的性能，使用户能够实时地采集各种网络运行的指标，例如HTTP的总时延、TCP连接的时延、DNS解析的时延、文件的传输速率、FTP连接的时延、DNS解析的错误率等。

例如，NQA使用HTTP测试用例测试客户端是否可以与指定的HTTP服务器建立连接，从而判断该设备是否提供了HTTP服务以及建立连接的时间，如图6-14所示。

图6-14 NQA检测

NQA测试可以得到DNS的查询时间、TCP连接的建立时间、HTTP的交易时间。这些结果和历史记录将被记录在测试用例中，可以通过命令行来查看，也可以被其他业务引用来判断链路或业务的运行情况。

被动检测技术是新开发的一种探测技术，相比于NQA，该技术不需要专门发送带外的探测报文，而是直接在原始报文里携带检测信息。该技术的检测对象是应用报文，所以更精确，更能表示应用的实际传输质量，并且不会额外占用网络带宽。

IP FPM（IP Flow Performance Measurement，IP流性能测量）是一种基于IP的网络性能的被动检测方案，通过对报文设置标记的方式（又称为染色）来携带统计信息，实现三层网络端到端的性能统计。一方面，IP FPM可以直接对业务报文进行测量，测量数据可以真实反映IP网络的性能；另一方面，IP FPM可以基于隧道监控IP网络承载业务的变化情况，真实准确地反映出各个路径下应用的运行情况，如图6-15所示。

图6-15 IP FPM检测

通过对每个链路启动一个测试实例，可以获得所有链路的实时质量。当链路质量下降时，可以根据配置的选路策略实现应用流量的实时切换。

由于被动检测技术依赖于业务的实际流量，当一段时间内没有应用流量时，就无法获取实时的链路质量，所以SD-WAN解决方案需综合运用被动检测技术IP FPM和主动检测技术NQA。

链路质量由3个指标构成：丢包率、时延和抖动。下面分别介绍在SD-WAN解决方案中对于这几个指标的检测技术。

1.丢包检测技术

丢包检测技术包括染色单个周期内的所有报文、隧道两端互发KeepAlive报文和主动发送探测报文等。

（1）染色单个周期内的所有报文

染色技术是通过对IP报文头部中保留的比特（位）进行标记（即染色）来实现的。通常在隧道的一端染色，在另一端去除染色，这是一种在业务报文中捎带统计信息的技术。这种技术可以区分不同时间周期的报文。例如，在周期 T1内发送红色报文，在周期T2内发送绿色报文等。

染色技术是一种被动检测技术，该技术直接使用业务报文探测，对业务无干扰且不占用带宽，基于业务报文周期染色，检测精度高。例如，在CPE A向CPE B发报文的过程中，通过染色技术，可以统计一个周期（T1）里发送端的发送报文计数SndA（5个）。在接收端统计接收到的报文计数RcvB（4个），随后通过双端协商机制，可以知道网络上在T1周期内丢失了1个报文，如图6-16所示。

图6-16 报文染色检测丢包

（2）隧道两端互发KeepAlive报文

CPE A发给CPE B的KeepAlive报文携带业务周期T1内发送的报文计数SndA（T1）、发送时刻时间戳TsA（T1）；CPE B收到KeepAlive报文后发送业务周期T1内接收到的报文计数RcvB（T1）、A的KeepAlive报文的接收时间TrB（T1）。CPE A到CPE B的统计信息同步后，双端可以计算CPE A发送报文的丢包率。单向丢包率计算公式为如下。

LossA =（SndA - RcvB）/SndA×1000‰

同样，CPE B把T1时间发送报文的信息发到CPE A，CPE A把收到报文的统计信息发往CPE B。这样可以计算CPE B发送报文的丢包率。

以上多次统计后的平均值可以作为选路依据。

（3）主动发送探测报文

企业各种业务和应用有不同的特点，并非一直在发送报文。例如，有些网页类应用，在用户不点击网页时就没有流量，被动捎带检测信息的做法就获取不到网络的丢包信息。因此，单纯依靠业务报文进行染色统计并不总是有效，此时需要寻求一种即使在没有业务流量时也能可靠检测业务和链路质量的方式，这就是主动发送探测报文技术。

主动发送探测报文技术可以在系统检测到业务没有流量或者链路上没有流量时，自动以较低的速率发送探测报文，在不额外占用过多带宽的情况下，检测网络的连通性和网络的丢包率，如图6-17所示。

图6-17 主动发送探测报文检测丢包

在实际使用时，主动探测技术可以与上述的KeepAlive技术融合，在有实际业务流量时不占用额外带宽。

2.双向时延检测技术

时延检测不需要额外发送其他报文，因为丢包检测的KeepAlive报文会携带时间戳（发送时刻Ts、接收时刻Tr），该时间戳可以直接使用。

假设CPE A与CPE B的时间差为M，如图6-18所示，则单次双向传输时延的计算公式如下。

Delay = TrB -（TsA + M）+（TrA + M）- TsB =（TrB - TsA）+（TrA -TsB）

以上多次统计后的平均值可以作为选路依据。从公式可以看出，时延为双向测量值，时间差可抵消，因而不依赖于NTP（Network Time Protocol，网络时间协议）。

图6-18 双向时延检测

3.抖动检测技术

抖动检测也不需要额外发送其他报文，这是因为抖动是时延的变化情况，所以只需要对多次测量得到的时延进行计算，即可得到抖动值。

在SD-WAN解决方案中，抖动被定义为统计周期内的所有双向时延（Delay）的标准差，可通过标准差反映这一个周期内时延偏离平均值的严重程度。

抖动的计算方式为：

其中：
pdv是待计算的抖动值；

N是周期内统计时延的次数；

M是开始统计的时延；

Delay[i]是第i次统计的时延；
avrDelay{N,M}是N次时延统计的平均值。

6.3.3 选路策略

在SD-WAN解决方案中，为了使用选路功能，需要先配置选路策略。CPE探测到链路质量变化后，刷新选路策略。待后续应用流量到达后，执行选路策略。上一节介绍了链路质量检测，本节将介绍如何配置、刷新和使用选路策略。

1.配置选路策略

选路策略是基于流分类模板创建的，并且需要在站点上使能。在选路之前，得先把需要选路的流量挑出来，因而就需要使用流分类模板。流分类模板的定义规则可以是以下一种或多种的组合：基于IP五元组；基于应用/应用组以及基于DSCP。

选路策略中需要配置的内容如下。

（1）应用对链路质量的要求

包括应用对链路丢包率、时延、抖动的要求。这个配置会作为链路质量选路的切换阈值，即当链路质量不满足阈值时，触发链路切换。

（2）链路组

用于配置业务正常使用时可选的链路和逃生链路。在主链路组中有链路可用时，不会选择备链路组中的链路。

（3）链路组中的链路

配置链路组中的链路，需要指定链路的优先级。可以指定多条链路使用相同的优先级，即进行负载分担，也可以指定多条链路使用不同的优先级。

（4）是否进行负载分担

如果使能了负载分担模式，则会在相同优先级的链路中运行基于链路带宽权重的负载分担算法。通过该算法，高带宽的链路会分担更多的流量。

（5）应用的优先级

将应用的优先级用于选路，当链路拥塞时，可以实现低优先级应用的流量避让高优先级应用的流量。

2.刷新选路策略

流量通过应用识别后会依据链路质量进行选路。由于链路质量是动态变化的，因此链路状态的记录也不是固定不变的，应该动态刷新。刷新时的参数包括链路质量、链路是否发生故障、链路带宽等。这些链路状态参数被记录在“选路策略”中，反映某类应用对链路的质量要求、链路偏好和链路的当前状态。

链路状态信息刷新的过程为：遍历所有选路策略中记录的可选链路，并检查每个可选链路的质量是否满足应用的要求，如果不满足则设置状态为不可用。

刷新过链路状态后，对应用不能使用的链路采取相应策略：应用的后续流量不会调度到不能使用的链路上；应用的当前流量从不满足要求的链路调整到满足要求的链路。

上述信息刷新后会用于指导报文转发。由于一段时间内，特定应用不能使用的链路已被过滤，后续流量不会调度到状态标记为不可用的链路，因而刷新选路策略实现了链路质量的选路功能。

3.使用选路策略

设备使用选路策略的过程为：收到报文后先识别应用，根据目的IP地址查找到可达目的站点的链路集合，过滤出符合质量和带宽要求的链路，然后根据链路优先级、是否启用负载分担和应用优先级为数据流选择链路，具体如下。

（1）链路优先级的处理

用户在选路策略里配置了应用可选的链路和链路的优先级。选路时，按链路优先级从高到低的顺序选取。

如果配置了负载分担，当具有相同优先级的可用链路有多条时，则在相同优先级的多条链路中按带宽权重进行负载分担选路。

（2）应用优先级的处理

设备对每条链路进行流量统计，以获得链路的拥塞情况。每个应用优先级对应相应的带宽份额，根据拥塞情况，允许具有相应份额权限的应用通过。该方法实现了不同优先级应用之间的避让关系。

综合来看，CPE支持多种选路方案的过程如下。

（1）总体上是基于应用，按配置的链路优先级顺序选路，其中链路优先级是用户配置的，因而不会动态变化。选路时，先选择基于应用配置的高优先级的链路。如果链路质量动态变化，按照选路策略会只使用符合应用要求的链路。

（2）设备转发报文时，要考察某条链路对该报文所在的流是否可选，主要考虑链路的拥塞状态。通过协调多个应用优先级间的带宽占用，实现不同优先级应用的动态选路。

（3）设备转发报文时，如果配置了负载分担并且可以筛选出多条符合质量要求的链路，则在这些链路间进行基于链路权重的负载分担。

通过执行上述质量检测、配置选路策略和报文处理流程，设备可实现基于应用的灵活选路。

6.3.4 配置实践

前面各节介绍了应用识别、链路质量检测和选路的原理，接下来通过具体的实例帮助读者深入理解如何综合运用上述技术进行选路。

在下面的例子中，企业有MPLS网络和因特网两条链路。语音业务主选MPLS网络，在MPLS网络发生故障时使用因特网作为备份；FTP业务主选因特网，在因特网发生故障时使用MPLS网络作为备份，如图6-19所示。

图6-19 企业MPLS网络和因特网组网选路配置

接下来，对选路策略的重要参数做规划，如表6-3所示。

表6-3 选路策略的重要参数

续表

然后，按照上述参数创建2个选路策略，在控制器上针对不同的应用配置不同的切换指标，并将语音业务的主链路设置为MPLS（优先级为2），备链路设置为因特网（优先级为1）；FTP业务的主链路设置为因特网（优先级为2），备链路设置为MPLS（优先级为1）。语音业务策略配置高优先级为10，FTP业务策略配置低优先级为1，从而保证两个业务选择相同的链路时，FTP业务不会抢占语音业务的带宽。FTP业务与语音业务的配置相似，以下只以语音业务的配置为例进行描述，如图6-20所示。

图6-20 配置语音策略

6.4 QoS方案

在传统的网络中，已经证明QoS是语音、视频和数据等多业务融合的关键。在SD-WAN解决方案中，QoS同样是企业实现多业务差分服务的关键。

6.4.1 整体方案

从流量模型上看，SD-WAN解决方案中的QoS方案可以分为站点到站点限速、站点到运营商GW限速。其中，企业站点到站点限速分为出方向限速和入方向限速，站点到运营商GW限速分为站点到IWG限速场景和站点到POP GW限速场景，并且也分为出方向限速和入方向限速。QoS整体场景如图6-21所示。

图6-21 QoS整体场景

1.站点到站点限速场景

这是SD-WAN解决方案中最常见的场景，因企业站点的接入带宽有限，所以要在站点出口使用QoS，以保障在链路拥塞时，高优先级的应用仍能通过该链路。

2.站点到运营商GW限速场景

站点到运营商GW限速场景包括站点到IWG限速场景和站点到POP GW限速场景，针对这两种场景可以进行上行流量和下行流量的限速。运营商通过IWG向企业提供访问传统网络的服务，通过POP GW提供跨骨干网组建跨多域大网的能力，对多租户、多站点提供服务。因此，运营商自然就有对各类用户进行限速和提供服务质量保障的需求。

下面详细介绍这些场景的QoS需求和方案。

6.4.2 站点到站点限速

企业的出口带宽是有限的，虽然通过选路可以把合适的应用流量放到合适的链路上传输，但是当网络流量达到出口链路带宽的最大值时，仍然会出现拥塞和丢包。此时可以采用QoS策略，从应用和部门两个层面保证整体业务的平稳运行，该场景如图6-22所示。

图6-22 站点到站点限速场景

由于企业一般都是从运营商处按链路购买带宽，所以只需要限制流量不超过订购的各条链路的带宽即可。

站点到站点互访的QoS需求如下。

（1）对多种应用提供不同的优先级和带宽保障

当出口链路带宽有限时，应该优先保证重要应用的体验。例如，需要通过配置实现对如下多种应用的需求：

·配置即时消息类应用使用最高优先级传输，即使网络出现拥塞也可以优先发送；

·视频应用优先级次之，网页访问再次之；

·电子邮件等业务在该调度方式下不会抢占其他业务的带宽。

（2）对企业的多个部门提供不同的带宽保障

企业通常都有多个部门，各个部门的重要性各不相同。既要隔离各部门的流量，又要为各部门提供不同的带宽。这意味着要保证不同部门的基础带宽，当各部门需要时，至少可以分配到指定的配额；当有的部门没有占用本部门的全部配额时，这些“空闲”的带宽要能够由其他带宽紧张的部门使用。

（3）基于出口链路限制带宽

企业通常从运营商处购买的是出口链路，运营商按其所购买的链路收费，所以需要限制出口链路的带宽。

例如，需要通过配置实现如下部门层级的需求。

·物理链路的总出口带宽为100 Mbit/s，其中部门1占用40%的物理链路带宽，部门2占用60%的物理链路带宽，且要保证不同部门的基础带宽。

·部门1带宽空闲时，部门2可以使用带宽；部门2带宽空闲时，部门1可以使用带宽。

·部门1本地上网流量和站点间互访流量的带宽分配比例为4∶6，部门2本地上网流量和站点间互访流量的带宽分配比例为3∶7。在物理链路出现拥塞的情况下，可根据该带宽比例对流量进行最小带宽保证。

出方向和入方向的QoS实现方案有差异，出方向可以使用队列调度，而入方向一般使用CAR（Committed Access Rate，承诺接入速率）限速。下面将对两种QoS方案分别展开介绍。

1.出方向QoS方案

对于既要对不同应用提供差异化服务质量，又要按不同部门提供不同带宽保障的场景，SD-WAN解决方案使用HQoS策略来满足客户需求，具体是用VPN隔离不同部门，如图6-23所示。

该配置模型包含3层配置，分别是业务层服务质量、VPN流量策略（Overlay/本地出局流量策略）和接口流量限制。每层的关键配置参数如表6-4所示。

图6-23 HQoS业务模型

表6-4 HQoS参数设置

（1）业务层服务质量

在网络控制器上基于每个VPN配置QoS策略，该策略控制的流量对象是来自每个VPN内用户的各种业务质量。网络控制器支持的QoS策略配置功能需要包括创建流分类模板和配置QoS策略动作，如图6-24所示。

图6-24 配置QoS策略

第一，创建流分类模板。当VPN内用户的流量需要分类时（如语音、数据、办公应用、普通上网等），需要预先为每一类流的分类对象创建一个流分类模板。流分类对象的定义规则可以是一种或多种组合：基于IP五元组；基于应用/应用组；以及基于DSCP。

第二，配置QoS策略动作。创建QoS策略，且为每个QoS策略分别选择一个对应的流分类模板，然后指定该策略对应的流所要执行的QoS动作。QoS动作包括优先级队列调度、带宽限制（流量监管和流量整形）和重标记DSCP。

优先级队列调度是通过调整报文的调度次序来为对时延敏感业务提供高质量服务的一种流量控制机制。可以指定流量进入最高优先级队列LLQ（Low-Latency Queuing，低延迟队列）、高优先级队列（EF队列）、中等优先级队列（AF队列）中的一种队列进行优先级调度，并根据配置的队列带宽进行最小带宽保证；没有匹配上述策略的其他剩余流量进入低优先级队列（BE队列）。

这几种队列的特点如下。

EF队列：是具有高优先级的队列，可以满足低时延业务的需求。可以设置一个或多个类别的报文使用EF队列，且可设定不同类别的报文占用不同的带宽。在调度报文出队的时候，若EF队列中有报文，则总是优先发送EF队列中的报文，直到EF队列中没有报文时，或者超过为EF队列配置的最大预留带宽时才调度发送其他队列中的报文。当接口不出现拥塞时，EF队列可以占用AF队列、BE队列的空闲带宽。这样，属于EF队列的报文既可以获得空闲的带宽，又不会占用超出规定的带宽。

LLQ：设备除了提供普通的EF队列，还支持一种特殊的、时延更低的EF队列，这就是LLQ。这种队列可以为对时延敏感的应用（如VoIP业务）提供良好的服务质量保证。LLQ是一个有最小保证带宽的队列，当出现拥塞时，该队列的数据量不能超过所允许的带宽，否则会被丢弃。

AF队列：每个AF队列分别对应一类报文，用户可以设定每类报文占用的带宽来满足需要带宽保证的关键数据业务。在调度报文出队的时候，按用户为各类报文设定的带宽将报文出队发送，实现各类队列的公平调度。当接口有剩余带宽时，AF队列按照权重分享剩余带宽。同时，当接口出现拥塞时，仍然能保证各类报文得到用户设定的最小带宽。

BE队列：当报文不匹配用户设定的所有类别时，报文被送入系统定义的默认类。BE队列使用WFQ（Weighted Fair Queue，加权公平队列）调度，使所有进入默认类的流量按报文优先级进行基于流的队列调度。

带宽限制包括流量监管和流量整形。流量监管就是对流量进行控制，通过监督进入网络的流量速率，对超出部分的流量进行“惩罚”，使进入网络的流量被限制在一个合理的范围之内，从而保护网络资源和网络上其他应用的利益。流量整形是一种主动调整流量输出速率的措施。当对端设备的入接口速率小于本设备的出接口速率或发生突发流量时，对端设备入接口处可能出现流量拥塞，此时用户可以通过在本设备接口的出方向配置流量整形，对不规整的流量进行削峰填谷，从而输出一条比较平整的流量，解决对端设备的拥塞问题。流量整形一般通过令牌桶机制进行流量控制，具体是当报文的发送速度过快时，首先在缓冲区进行流量缓存，随后在令牌桶的控制下，均匀地发送被缓存的流量。

重标记DSCP的操作具体如下。可以在LAN侧和WAN侧设置DSCP优先级，也可以混合设置。

首先，配置LAN侧入口进行DSCP重标记，对进入CPE流量的IP DSCP进行修改。如果该报文后续进入Overlay隧道转发，隧道外层的DSCP会从内部IP报文的DSCP复制。最终效果是内/外层IP的DSCP都是重标记指定的值。

其次，配置WAN侧出口进行DSCP重标记，则对WAN侧出口发送的设备流量的IP DSCP进行修改。如果报文添加了Overlay隧道头，则只对隧道外层IP报文的DSCP进行修改，不会修改内部IP 报文的DSCP。最终效果是内/外层IP的DSCP可能不一样，外层DSCP是重标记指定的值。

最后，如果配置LAN侧和WAN侧出口同时进行DSCP重标记，对用户进入CPE流量的IP DSCP进行第一次修改，当该IP报文在WAN侧出口发送时，再进行一次隧道外层IP DSCP的修改。最终效果是，如果是封装了Overlay隧道IP头的报文，其内层IP是LAN重标记DSCP的值，外层是WAN重标记DSCP的值；如果是本地出局的报文，则只有一层IP头，DSCP对应的是WAN侧重标记DSCP的值。

（2） VPN流量策略（Overlay/本地出局流量策略）

该策略是把一个VPN的所有流量作为一个流对象，加入AF队列进行优先级调度。AF队列的特点是，当接口有剩余带宽时，AF队列按照权重分享剩余带宽。同时，当接口出现拥塞时，仍然能保证各类报文得到用户设定的最小带宽。这样，在链路出现拥塞的情况下，每个VPN都有自己的最小带宽保证；在链路不出现拥塞的情况下，一个VPN可以共享链路上其他VPN的剩余带宽。

此外，如果一个VPN有本地出局的因特网流量，还可以指定本地出局流量占该VPN总带宽的比例，并把其他带宽留给VPN内站点互访流量，如图6-25所示。

图6-25 指定本地出局流量占比

（3）接口流量限制

当用户的本地出局流量或Overlay流量从WAN接口发送到Underlay网络时，可以基于WAN接口总带宽对流量进行接口带宽限速。该接口带宽就是用户从运营商处购买的签约带宽，需要配置到WAN链路上来作为HQoS的基准带宽。

2.入方向QoS方案

站点的入方向限速方案与出方向限速方案类似，但是应用场景有所区别。站点出方向限速一般出现在企业用户场景，在出口带宽有限的情况下，保障高优先级应用的带宽。而站点入方向一般不需要限速，因为该流量已经由运营商限过速了，因而到达企业站点的流量可以直接转发到站点内。

站点入方向限速一般用于运营商转售SD-WAN的场景。在该场景下，站点的CPE由运营商提供给企业使用，并可由运营商管理。此时运营商可选择不在PE上限速，而是在CPE上限速。

由于经常出现多个站点的流量向同一站点发送的情况，因此需要保证高优先级的流量能够优先进入该站点，以获得更高的保障。入方向限速的场景如图6-26所示。

图6-26 站点入方向限速场景

用户需求为：企业订购了100 Mbit/s的带宽；为每个VPN保证带宽（VPN1为40 Mbit/s、VPN2为60 Mbit/s）；当部分VPN流量空闲时，剩余带宽可以被其他VPN使用；VPN里每个业务保证获得最小带宽，并且可以使用其他业务的剩余带宽。

该方案的配置与出方向限速相似，也是采用多级QoS的方案，只是配置的方向有差异。但是入方向限速的处理方式与出方向限速不同，出方向使用队列进行限速，而入方向一般使用层次化CAR限速，CAR的优点在于可以更快地丢弃不需要的报文。入方向限速原理如图6-27所示。

处理过程为：在入接口收到业务报文后，不能直接进行接口层CAR处理，因为业务报文经过SD-WAN Overlay隧道封装后，不能确定属于哪个VPN或哪个业务，必须先解封装，因此在接口层只能标记此报文需要CAR限速；对SD-WAN Overlay隧道解封装，还原出原始报文，从而获得报文所属的VPN；通过各种应用识别技术，识别报文属于何种应用；采用色敏模式实施三级CAR限速，其规则如表6-5所示。

图6-27 站点入方向限速原理

表6-5 采用色敏模式实施三级CAR限速的规则

注： CIR即Committed Information Rate，承诺信息速率；

PIR即Peak Information Rate，峰值信息速率。

如果流量没有超过保障带宽，则颜色为Green；如果超过保障带宽但未超过峰值带宽，则颜色为Yellow；如果超过峰值带宽，则颜色为Red。三级CAR限速采用的色敏模式说明如下：

·第一级只要是Green，最终结果为允许通过；

·第一级只要是Red，最终结果为不允许通过；

·第一级是Yellow时，看第二级的标记结果；

·第二级是Green时，最终结果为允许通过；

·第二级是Red时，最终结果为不允许通过；

·第二级是Yellow时，若第三级是Green/Yellow，最终结果为允许通过；若第三级是Red，最终结果为不允许通过。

6.4.3 站点到运营商GW限速

站点到运营商GW限速分为站点到IWG限速场景和站点到PoP GW限速场景，具体如下。

1.站点到IWG限速

站点通过IWG访问传统站点，站点可能是单CPE，也可能是双CPE组网。在IWG场景下，流量从CPE发到IWG后，隧道解封装，再发给PE。

在此场景下，SD-WAN解决方案可以支持如下粒度的限速。

（1）基于租户限速或基于站点限速

由于租户的IWG服务可以基于租户购买，或者基于被服务的站点购买，所以SD-WAN解决方案的QoS方案要能够限制租户下所有站点能够使用的IWG带宽，或者分别限制各个站点的带宽。

（2）基于部门限速

在IWG上需要对SD-WAN Overlay解隧道封装，此时IWG上可以看到部门信息和内部应用，因此可以实现基于部门限速。

（3）基于应用限速

同上一粒度的限速，IWG场景也可以提供基于应用限速的方案。

如果是运营商给企业提供IWG服务，那么建议支持基于租户或站点限速。如果需要由企业管理IWG服务，那么建议支持基于部门和应用限速。

如图6-28所示，当站点访问IWG时，不管是单CPE站点访问，还是双CPE站点访问，都是基于一个IWG进行限速。

图6-28 站点到IWG限速场景

当站点访问IWG时，可能的限速点有①～⑦等多个位置，对限速位置的建议如下。

首选位置是上行流量在位置③处限速，下行流量在位置④处限速。在位置③处限速，可以处理站点用双CPE多链路接入IWG的场景。此时可以对同一站点中多条链路接入的流量集中限速，从而保证不管多条链路上Underlay带宽如何分配，Overlay总带宽是可以保证的。而如果在位置①处限速，当站点有双CPE时，则无法做到多链路共享带宽。在位置④处限速，可以对双CPE多链路接入IWG的场景流量做集中限速。选择在位置④处进行限速的原因与在位置③处限速的原因相同。

次选位置是上行流量在位置⑤处限速，下行流量在位置⑥处限速。位置⑤处和位置③处限速有所不同，位置⑤处可以使用队列调度、流量整型，而位置③处一般只能使用CAR限速。但是在位置⑤处限速的缺点是会多消耗IWG的计算和转发资源。

在位置⑥处限速相比在位置④处限速，可以更早地把多余流量丢弃掉，以节省网络资源，但需说明的是，PE属于运营商的设备，一般不允许企业用户配置。

2.站点到POP GW限速

站点通过POP GW访问其他站点时，站点可能是单CPE，也可能是双CPE组网，站点到POP GW限速的场景如图6-29所示。

图6-29 站点到POP GW限速场景

在此场景下，如果在POP GW上限速，仅可以实现基于租户限速或基于租户的站点限速。租户的GW服务可以基于租户购买，或者基于被服务的站点购买，所以SD-WAN的QoS方案需要能够限制租户的所有站点，或者对各个站点分别限速。

如果想基于部门限速或者基于应用限速，在POP GW上限速的方案就无能为力了，此时只能在CPE上限速。具体来说，只有在CPE上才会对SD-WAN Overlay隧道解封装，从而可以在CPE上看到部门信息和内部应用，实现基于部门以及应用限速。

与站点到IWG限速场景类似，站点访问POP GW时，不管是单CPE站点访问，还是双CPE站点访问，都是基于一个POP GW进行限速。

6.5 广域优化

选路技术和QoS技术都只能依赖现有网络的质量，而不能主动改进网络质量。当网络质量不好时，选路技术是躲避拥堵，QoS技术则是丢车保帅，最终的结果是只保证一部分重要业务的运行质量。与选路和QoS不同，广域优化技术可以提高应用对链路质量的适应性，使得即使链路质量变差，也能获得良好的应用体验。

传统的企业网络分支间是互联的，当扩展到广域互联后，由于通信距离拉长，经过多种链路及多跳后，丢包率和时延会比较高，且抖动会比较大，导致出现如下问题。

（1）音视频卡顿

随着站点与站点之间的距离拉长，远程音视频会议报文经过的网络节点增多，时延和丢包率随之增加。然而，用户对音视频传输的时延和丢包率非常敏感，时延过高会导致通信延迟，会议远端与本地人员交流不同步，双方反应都“慢半拍”；丢包率过高会导致视频花屏或卡顿、声音听不清或断断续续，体验变差。

（2）应用运行缓慢

随着企业云化，云分支、云计算、云应用相继出现，越来越多的数据要通过WAN链路传输，而WAN链路由于时延、丢包的原因，会导致使用TCP的应用运行缓慢。尤其在备份高分辨率的照片、视频等数据时，由于要传输的数据量非常大，会造成传输缓慢，使得体验变差。

（3）带宽快速消耗

企业多个分支间经常需要传输重复的数据，随着企业规模的扩大，重复数据越来越多。例如，群发的电子邮件、企业集中向设备分发的应用软件和补丁、用户集中访问数据中心的服务器页面、员工集中点播重要视频等，都会消耗大量的带宽。

6.5.1 通常采用的方案

传统的广域优化又叫广域加速，专注于WAN上提升应用的访问速度。SD-WAN解决方案增加了对应用运行质量的关注，主要关注视频的流畅度和网络的可靠性。目前，已有专业的广域优化厂商致力于数据去重压缩技术和应用加速技术，且这两项技术对网络设备的硬盘、CPU计算能力都有很高的要求，这些要求与嵌入式设备的形态存在冲突，所以在SD-WAN解决方案中不把数据去重压缩、应用加速作为重点，本文对这部分内容仅做简单介绍。

相比于LAN，WAN存在如下特点：带宽小、丢包率高、时延高和抖动高。很多协议和应用不能适应WAN的这些特点，从而导致性能下降，用户体验不好。

广域优化方案通常包含以下几类技术来改善用户体验。

1.抗丢包优化类

网络丢包对即时通信类应用影响很大。应用程序发现网络丢包后，如果重传会导致卡顿，如果不重传则会导致处理出错。

抗丢包技术一般包括包复制技术和FEC技术，两者皆是通过发送冗余报文来实现丢包后的即时恢复和去除重传，其不同之处如下。

·包复制技术通过复制一份或多份原始报文的方式来增加报文冗余，且一般会利用多路径发送增加抗丢包强度。随后，由接收端对收到的报文排序、去重复。

·FEC技术通过RS算法对原始报文计算冗余报文的方式来增加冗余度。相比简单的包复制，FEC技术的恢复能力较强，一个FEC冗余包可以对多个原始报文实现纠错和丢包恢复。

2.传输优化类

传输层协议常用的是TCP和UDP，其中基于UDP收发包的过程非常简单，基本没有优化的价值，所以各厂商做的传输优化一般都指的是TCP优化。

TCP提出的时间很早，当时采用的是基于丢包的带宽探测算法，该算法会持续增加发包速率，直到出现网络丢包才能探测出网络带宽。受时代所限，当初设计的算法不能适应现代网络的状况，现代网络由于传输距离的延长和无线网络的引入，会出现高时延和丢包的情况。在这种情况下，即使网络带宽很高，TCP传输能力也会很低。因此，关于TCP优化的尝试有很多，大致分为以下几类。

（1）基于丢包的算法优化

继续沿着当初基于丢包探测的道路前进，更快地放弃超时等待，采用更激进的丢包恢复算法。

这种方式在一定程度上可以改善丢包对传输效率的影响，但是解决不了基于丢包的算法的根本问题，仍然会增加网络上的拥塞。因而当时延增加和出现丢包时，仍然无法充分利用带宽。

（2）基于时延的算法优化

基于时延的优化算法改变了思路，认为网络出现拥塞后，正在传输的报文会占用网络设备的缓存，此时由于报文在缓存中等待，会导致时延的增加。该算法认为时延增加即拥塞，因此，出现拥塞后就该放弃提升发包速率。

这种优化方法避免了网络偶尔传输错误引起的丢包对传输性能的影响。在网络开始出现瓶颈时，能够及时停止提高传输速率，从而不会增加时延。但是该算法在时延变化较大的网络上不能正常运行。

（3）综合计算的优化

从前两种优化思路可以看出，单纯基于丢包或者基于时延的算法，都存在限制场景，不能充分利用带宽。

因此，现代的TCP优化算法会综合丢包和时延信息，采用综合的策略进行流量控制。例如，BBR（Bottleneck Bandwidth and Round-trip propagation time，瓶颈带宽和往返传播时间）算法通过单独测量瓶颈设备的带宽和时延，计算最优化的发包速率。

以FillP（Fill up the Pipe，填满管道）算法为代表的优化技术更进一步，采用双端优化，综合采用协商传输速率、接收端主动请求丢包、智能流控等一系列技术改进算法性能，加快TCP应用的传输速率并改善延迟现象，从而解决应用运行缓慢的问题。

3.数据优化类

这类优化利用数据去重、压缩技术，减少冗余数据的传递，从而减少网络上传输的流量，既节约了带宽，又加速了数据的传输。主要优化思路有数据去重和数据压缩两种方法，具体如下。

（1）数据去重

数据去重可以双端部署，也可以单端部署，是通过缓存的方式来减少冗余数据的传输。

在实际中可通过两种方法实现，一种方法是缓存文件，另一种方法是缓存文件的数据块。缓存文件的优化方式一般只对网页和不会变化的文件的效果比较好，但是对于只修改部分文件内容的情况不适用。对于只修改部分文件内容的场景，用缓存文件数据块的优化方式效果最好。所以常见的优化方式是缓存数据块方式。

缓存数据块的优化方式依赖于数据分块技术和数据块查找算法。从安全角度考虑，这些数据需要加密保存到存储设备中。对加密数据进行数据优化时，需要优化设备先解密，再优化，然后再加密发往接收设备。接收端设备解密、还原数据后再加密发往实际接收端。中间所涉及的数据存储、证书、私钥存储等都需要加密存储，且私钥和证书一般可以动态从授信机构获取。

（2）数据压缩

数据传输时经常会发现数据串本身存在冗余，例如字符串“aaaa”，直接传输需要4 Byte，而如果采用“4a”的方式标记，只需要2 Byte。这只是简单压缩的示例，实际的压缩技术在业界已有很多研究，压缩算法也非常多，一般按是否可以完全恢复原始信息为标准，可将压缩算法分为无损压缩算法和有损压缩算法。

有损压缩算法会降低图像质量、降低音频分辨率等，适合在应用选择时使用。网络加速设备一般使用的是无损压缩算法。常见的无损压缩算法有RLE（Run Length Encoding，行程长度压缩算法）、Huffman（哈夫曼）、LempelZiv（LZ77）等。

4.应用协议优化类

上述优化技术只是底层技术，只能基于每次的连接进行优化，而如果再叠加基于应用行为的优化，就可以获得更好的优化效果。当然，这样带来的将是更复杂的、针对不同应用协议的优化算法。下面列出一些常见的应用协议优化技术。

（1）网页和基于网页的应用协议优化技术

大量应用是基于网页的，包括企业自建的应用，站点间的应用以及企业站点内访问因特网上的应用等。

Web应用是基于HTTP和HTTPS来传输文本、图片的，且Web应用中存在大量重复的内容，包括同一用户多次访问同一站点或者多个用户访问同一站点等。针对这一情况，可以采用数据优化技术来减少数据量，从而加快访问速度。

（2）文件传输和数据库访问协议优化技术

旧版本的SMB（Server Message Block，服务器消息块）/CIFS（Common Internet File System，通用因特网文件系统）协议、一部分数据库访问协议等在设计时只考虑了LAN，没有考虑在因特网这种高时延的网络上的传输，所以交互次数非常多，导致打开一个页面就需要等待很久。WAN加速设备可以合并这些请求，进行代理应答。这样就避免了频繁交互，从而加速了文件访问，提升了文件传输性能。

（3）视频优化技术

根据视频应用的行为不同，可以把视频应用分为3类：即时通信类、直播类、点播类。不同类别的视频应用的特点和优化方式大不相同。即时通信类视频可以使用抗丢包优化，而直播和点播类应用则需要优化带宽占用。

（4） SaaS应用访问优化技术

SaaS应用一般都是Web化的应用，部署在云端，所以对网页类应用的优化技术对此类应用都适用。除此之外，针对常见的特定SaaS应用（如Office365、云盘、ERP等）还可以做选路优化。

综上所述，优化技术可以分为单边优化和双边优化。单边优化只需要一端的站点支持广域优化，例如传输优化的BBR算法就是单边优化技术，一般在服务器所在的站点部署就能加速所有用户的下载连接。双边优化需要两端的站点都有CPE并启用广域优化功能。双边优化技术包括抗丢包优化的FEC算法、传输优化的FillP算法以及数据压缩、去重等。

接下来详细介绍各种优化技术的使用场景、原理以及应用方法。

6.5.2 抗丢包优化

企业中有很多应用对时延非常敏感，主要包括一些即时通信类的应用，比如语音通话、视频会议等。为了保证低时延，减少TCP握手、重传的影响，这些应用一般会选用UDP作为传输层协议。但是UDP不能像TCP一样保证可靠传输，在网络出现丢包时会导致应用的质量变差。因此，广域优化方案包含一系列抗丢包技术，包括单路径FEC、单路径A-FEC（Adaptive-Forward Error Correction，自适应前向纠错）、多路径包复制（双发选收）和多路径FEC。

1.FEC算法恢复丢包

以视频通信为例，可以看出视频抗丢包优化的重要性。前面讲到，视频在质量差的链路上传输时，通常会出现丢包现象，导致视频卡顿、花屏，影响体验。

造成这种现象的原因是什么呢？通过考察视频通信的特点即可得知。视频通话每隔一段时间会发送一个I帧（包括图像全部内容），后续的视频图像使用帧间预测（P帧），而编码P帧只传输图像的变化信息，以此来减少网络带宽的占用，如图6-30所示。

图6-30 视频码流

视频码流有任何异常（如误码或丢包），都会造成P帧解码错误，P帧之后的图像都会绘制异常，此时只能通过申请或等待编码端重新发送编码I帧来解决这个问题，如图6-31所示。

图6-31 视频码流丢包

当网络中出现丢包导致错误时，错误的P帧以及其之后I帧之前的所有P帧图像都会绘制异常。此时视频终端如果强行继续输出图像，就会造成花屏，如果不输出，则会造成长时间的图像停顿。因此，丢包对视频通信的影响非常明显。

基于实时性的考虑，视频通信一般设计为基于UDP传输，因而不具备TCP那样的可靠性保障，也就更依赖于网络的可靠传输。由于因特网的丢包率比MPLS专线更高，会进一步劣化视频体验，所以需要对视频应用做抗丢包优化。

FEC技术可以很好地缓解网络丢包现象，其通过代理拦截指定的数据流，并按照一定的算法编码生成冗余校验包，且这些冗余校验包携带相应的受保护的原始包的信息。CPE将VoIP报文的原始包和这些冗余校验包发送到对端，由接收端CPE进行校验。如果在传输过程中出现丢包，则可通过冗余校验包还原丢失的原始包，如图6-32所示。

FEC具体的执行过程如下。

步骤① 发起端CPE从Bob处接收到原始包，并进行优化。同时，在发送端CPE积攒原始包，构建分组。

步骤② 发起端CPE对分组中的原始报文进行FEC编码，生成FEC冗余校验包。

步骤③ 接收端CPE接收到原始包和冗余校验包，检测丢包信息，重建报文分组，恢复丢包。

步骤④ 接收端CPE使用收到的同一分组的原始包和冗余校验包进行FEC解码，从而得到原始包。

步骤⑤ 接收端CPE向Alice发送原始包。

图6-32 FEC技术

FEC一般使用XOR或者RS编码，RS编码抗丢包效果相对较好。RS编码的过程如图6-33所示。

先来看看编码端编码。以5个原始包为例，矩阵D是原始包，矩阵G是生成矩阵，矩阵相乘，得到冗余包矩阵R。

图6-33 编码端编码

若传输过程中发生丢包，例如丢了D1、D4、R2这3个包，则抽掉相应的行，得到矩阵G'，等式仍然成立，如图6-34所示。

图6-34 丢包

接下来，在等式两边都左乘G'的逆矩阵，等式仍相等，且可以得到原始矩阵，如图6-35所示。

图6-35 获取原始矩阵

其中，而I×D=D，所以左边只剩下原始矩阵D，如图6-36所示。

图6-36 原始矩阵

该算法的关键是要找到一个生成矩阵G，使其任意的子矩阵都可逆。那么，这种矩阵是否存在呢？答案是存在的。范德蒙德矩阵和柯西矩阵都满足该条件。RS算法最开始使用的就是范德蒙德矩阵，后来由于柯西矩阵求逆的计算量更小，所以现在普遍使用柯西矩阵作为生成矩阵。

从该算法可以看出，在单位时间内随机丢包数量不超过冗余校验包的数量时，原始包或冗余校验包的丢失不影响原始包的恢复。

总体来看，FEC通过冗余校验包恢复丢包的优化技术有如下特点：

·相比TCP的重传机制，FEC不需要对报文重传，实时性高；

·基于IP，对一般的应用丢包都有效，能以较高概率恢复丢包。

FEC技术的典型业务场景是视频会议。例如，在某企业有两个分支站点（A和B）和一个数据中心，且数据中心部署会议服务器。员工在分支站点A和分支站点B举行视频会议时，视频流需经过数据中心的服务器中转。由于视频会议对网络丢包非常敏感，加上中间网络会经过质量相对较差的因特网，因此，抖动和丢包都难以避免。如图6-37所示，针对以上情形，需要在数据中心、站点A和站点B的出口CPE上都启用FEC优化功能，来对经过的视频流量做抗丢包优化。这些多站点的FEC配置建议在网络控制器上进行。

图6-37 FEC技术的典型业务场景

2.A-FEC自动调整冗余率

FEC技术能手工调整冗余校验包的数量比例，从而支持网络在不同丢包率的情况下恢复丢包。但是，配置固定冗余率也会带来一些问题，详见如下。

（1）浪费带宽

由于固定的冗余率无法动态调整，在丢包率低的时候，冗余校验包往往造成带宽的浪费。尤其在网络出现拥塞的时候，增加过多的冗余校验包会进一步加剧网络负担，对其他业务带来影响。

（2）不适应连续丢包

网络丢包如果是拥塞导致，则经常会连续发生。在一段很短时间内的连续丢包会使实际丢包率异常增高。手工配置固定冗余率的方式不适用于这种场景，该方式在短时间内产生的FEC冗余校验包数量不足，无法恢复丢包，如图6-38所示。

为了解决上述问题，A-FEC技术应运而生。A-FEC可以自动调整FEC冗余率，从而在丢包率低的时候节约带宽；而在丢包率短时间内骤然升高的时候适应性地提高冗余率，以抵消网络丢包造成的影响，如图6-39所示。

图6-38 FEC固定冗余率

图6-39 A-FEC动态调整冗余率

A-FEC的主要实现机制是基于FEC接收端向发送端反馈的FEC-ACK报文。该报文可以实时反馈网络中的丢包率和连续丢包的情况。FEC编码端根据接收的FEC-ACK报文及时调整FEC的冗余率，从而减轻或者消除链路丢包对数据传输的影响。

对冗余率的选择要考虑以下几个因素。

·最大连续丢包数：指突发连续丢包的数量，每个编码块的冗余校验包数量需大于最大连续丢包数。

·解码端反馈的丢包率：编码冗余率需大于丢包率。

·历史丢包率：采用滑动窗口机制，保存最近一段时间内的丢包率。通过加权平均算法（重点参考最近的丢包率），计算出参考的丢包率。这种方式主要用来平滑丢包率变化的毛刺。

·安全系数：因为编码端对于网络的丢包率感知有延迟，当网络丢包率增长时，解码端反馈的丢包率和历史丢包率总是落后于网络当前的丢包率。所以要评估丢包率趋势并留有余量。

计算冗余率时，需从上述计算结果中取最大值，从而尽可能减少丢包。

3.多路径包复制抗丢包

FEC、A-FEC抗丢包的原理都是通过在同一路径上增加冗余校验包来实现的。但在拥塞网络上，增加冗余校验包会进一步加剧网络拥塞，可能对其他业务带来影响。即使A-FEC已经大大改善了冗余校验包的数量，做到动态调整，但仍无法从根本上解决冗余校验包的增加加剧链路拥塞的问题。

多路径包复制是一种既能降低网络丢包对传输的影响，又不会加剧原始链路拥塞的技术。当存在多条链路时，采用多路径包复制技术可以减少网络丢包对丢包敏感应用的影响。

通过多路径包复制技术，发送端CPE把VoIP报文的原始包和冗余校验包都复制多份，然后通过多条链路发送。发送时，结合智能选路技术，选择最合适的两条或多条链路，如图6-40所示。

图6-40 多路径包复制技术

接收端CPE在接收到多条链路传输的数据包后，对其进行排序、去重复等操作，从而恢复原始的数据流。

当一个数据包的多个副本没有全部丢失时，即可通过该技术恢复原始数据包。

4.多路径FEC抗丢包

多路径包复制技术可以解决单路FEC、A-FEC引起的带宽占用增加的问题，不会进一步加剧网络拥塞，并且也充分利用了其他链路的带宽。但是，多路径包复制技术也存在以下问题。

·数据冗余度大。通过1︰1的方式，在其他链路复制数据，占用带宽。

·在链路数量较少时，同一个数据包的几个副本可能同时丢失，此时原始包就无法恢复。

FEC或A-FEC在同一条链路因为增加冗余校验包，会导致带宽占用增大，多路径FEC技术可以缓解这一问题，同时，该技术也可以缓解多路径包复制引起的占用带宽增大的问题。

多路径FEC技术可使VoIP报文的原始包和FEC冗余校验包使用不同的链路发送。结合智能选路技术，FEC冗余校验包选择其中一条质量较好的链路发送，从而保证在丢包时可恢复原始包，如图6-41所示。

图6-41 多路径FEC

由于冗余链路上传输的是FEC冗余校验包，相比原始包数量较少，可以节省大量带宽。另外，不同于多路径包复制存在的原始包在多个副本丢失后无法恢复，多路径FEC原始包和冗余校验包没有一一对应的关系。原始包丢失后，只要不超过冗余率，就可以用FEC冗余校验包进行恢复，从而进一步提升应用的抗丢包能力。

6.5.3 传输优化

1.TCP需要优化的原因

人们可能有过这样的体验：通过因特网访问网站时，需很久才能打开，或者根本打不开；通过因特网传输视频等大文件时，虽然使用的是花大价钱购买的百兆网络甚至千兆网络，但传输速率并不高。

这主要是由TCP基于丢包的网络拥塞控制算法所导致的。传统的TCP拥塞控制算法是20世纪70年代被提出的，这种方式在当时的低速链路下是合理的。但几十年过去了，现代网络技术发展突飞猛进，网卡速率从Mbit/s演进到Gbit/s，内存也从KB演进到GB，基于丢包的拥塞控制算法不适应高带宽并且存在一定丢包率的网络，不能发挥网络最大的效率。TCP需要优化的原因主要体现在以下几个方面。

（1）在有一定丢包率的链路，TCP不能充分利用带宽。

在TCP拥塞控制算法中，TCP判断链路出现拥塞的依据是发现网络出现丢包。但是传输错误导致丢包是常见现象，这并不是由链路拥塞所引起的。丢包现象与TCP算法结合，将导致以下3个问题。

·在启动阶段，TCP算法采用了名为“慢启动”但实际非常快速的指数增长方式。指数方式的增长是盲目的，一旦窗口增长过度，将导致网络拥塞。

·TCP的拥塞避免算法采用线性增长的方式，导致窗口增长太慢，不能很快达到网络的最大带宽。

·TCP基于丢包的拥塞控制算法对丢包的反应过于激烈。当出现丢包时，拥塞窗口将急剧下降50%，如图6-42所示。

图6-42 TCP速率受丢包影响严重

所以在链路有一定丢包的情况下，TCP的传输速率总是被限制在较低的水平，因而不能充分利用带宽。

（2） TCP基于丢包计算窗口的算法，会填满链路上带宽瓶颈设备的缓存，从而增加网络时延。这种现象就像水管中流动的水，水流量取决于最细处的流速。同样，网络发送报文的能力取决于链路中带宽最小的设备的处理能力。

在网络中，设备一般都带有缓存，用来解决网络中突发的拥塞。TCP算法在增大窗口、试探最大带宽的过程中，链路上在传输但未被对端收到的数据一直在增多。当这些报文开始占用瓶颈设备的缓存时，由于瓶颈设备的发送带宽已被占满，所以即使增大拥塞窗口也不能增加实际发送速率，只能增加缓存的占用，导致报文在缓存中堆积得越来越多，进一步使得刚进入缓存的报文必须等缓存中前面的报文发送完后才能发送，这样就增加了网络时延，最终导致缓存占用越来越多，网络时延越来越大。

针对TCP算法传输效率的问题，业界推出了很多TCP优化算法。

这些优化算法按部署方式可分为单边TCP优化和双边TCP优化两类，如表6-6所示。

表6-6 优化算法分类

（3） TCP单边优化

TCP单边优化的核心是设计高效的拥塞控制算法，在不丧失TCP公平性和友好性的前提下尽量提升TCP的吞吐率。拥塞控制的基本思路是发送端根据从网络获得的拥塞反馈信息调整TCP的发送速率。基于算法依据的是何种拥塞反馈信息，可以将TCP加速技术分为以下几类。

第一类是基于丢包的TCP优化算法。该算法主要以丢包来判断拥塞并调整传输速率。该算法对传统TCP算法的改进思想是通过增大初始拥塞控制窗口，同时在通过丢包判断出现拥塞后，使用更激进的方式恢复拥塞控制窗口的大小，来减少拥塞对传输速率的影响。

基于丢包的常见拥塞控制算法有Reno、New Reno、Cubic等，但这些算法对丢包的优化也有如下局限性。

·丢包不等于拥塞。例如，在无线场景中，空口的干扰可能导致丢包，但此时丢包的原因并非是链路拥塞。

·缓存导致时延增大。为了测量带宽，基于丢包的拥塞控制算法会占用带宽瓶颈设备缓存，导致时延增大。

第二类是基于时延的TCP优化算法。通过时延的变化来判断拥塞程度并相应地调整传输速率。这一机制更符合现代网络的特点，能够在开始发生拥塞时就及时下调传输速率，避免拥塞恶化，减少甚至避免丢包的发生。同时，基于时延的TCP优化技术不将丢包当作拥塞的结果，在因非拥塞因素发生丢包时仍可以保持较高的传输速率。基于时延的TCP优化算法有Fast TCP、Compound TCP等。

由于基于时延的TCP优化算法对RTT（Round Trip Time，往返路程时间）敏感，对丢包不感知，因而存在以下局限性：

·公平性差，面对其他的TCP流要么无法竞争到带宽，要么无法退让出带宽；

·对RTT的准确性非常敏感，需要使用高精度的时钟才能得出正确的动作；

·RTT小的情况下，算法不够精细。

第三类是更精确测量带宽时延的TCP优化算法。通过丢包或时延来测量拥塞窗口存在相应的局限性，可以通过分别测量最大带宽、最小时延的方式，间接得到合理的最大拥塞窗口。该类典型的TCP优化算法是BBR算法，将在下一节中重点介绍。

（4） TCP双边优化

TCP双边优化可以引入多种反馈机制来实现高带宽利用率，并提供配置带宽占用的机制以保证公平性，在高时延、高丢包率的场景下可极大地提升传输效率。

2.BBR发送端优化

针对基于丢包的拥塞控制算法存在的问题，BBR算法的解决之道如下。

（1）既然丢包现象不表示网络拥塞，那么就不根据丢包计算链路带宽。丢包时仅仅触发重传丢失的报文，不影响对于链路带宽的估算过程。这就保证了在偶尔丢包的情况下，BBR优化过的TCP速率可以持续提升，而不像传统的TCP算法只能提供持续较低的传输速率。

（2）分别估计带宽和时延，把带宽极大值和时延极小值作为估计值。通过估计值可以更精确地计算网络容量。按精确的网络容量发包，可以尽量不占用网络瓶颈设备的缓存。缓存占用减少，时延自然也就降低了。

BBR优化算法的具体执行过程如下。

（1）在TCP连接建立之后，优化算法采用类似标准TCP的慢启动，按指数方式增加发送速率。优化算法根据收到的确认包，在发现有效带宽不再增长时，就进入排空阶段。当发送速率增长到开始占用缓存的时候，有效带宽不再增长，优化算法及时放弃指数式增长，这样就避免了把缓冲区填满而导致丢包。

在启动过程中，由于缓存在前期几乎没被占用，时延的最小值就是时延的初始估计值；启动结束时，最大有效带宽就是带宽的初始估计值。

（2）启动阶段结束后，为了清空占用的缓存，优化算法将进入排空阶段，此时缓存里的报文就被慢慢排空。理想情况下，把缓存刚好排空后，瓶颈设备的带宽还是占满的，这时，优化算法就进入稳定运行阶段。

（3）排空阶段结束后，优化算法进入稳定运行状态，交替探测带宽和时延。由于网络带宽的变化比时延的变化更频繁，因而优化算法在稳定状态下的绝大多数时间内处于带宽探测阶段。带宽探测阶段是一个正反馈系统，即定期尝试增加发包速率，如果收到确认的速率也增加了，就进一步增加发包速率。

（4）优化算法在很少的时间里会用极低的发包速率来测量时延，而不占用瓶颈设备缓存，因而时延探测是准确的。另外，如果应用恰好在某段时间内发包速率很低，BBR优化算法也会趁机计算时延，而不需要专门通过降低速率来计算时延。

由于BBR优化算法是在TCP的发送端进行拥塞控制，且只对发送端发出的单向流量有优化效果，所以BBR技术只能在发送端部署。BBR优化算法常用于服务器端优化的场景。例如，分支用户和出差用户访问位于数据中心的服务器时，用户侧没有广域优化能力，但是希望能更快地获取服务器的资料，如图6-43所示。

图6-43 在服务器端优化

3.FillP双边优化

如果希望获得比BBR更高的传输速率，并且有条件在发送端和接收端都部署广域优化技术，则可以使用FillP优化技术。

FillP是双边优化算法，是针对大量数据传输而设计的可靠的流传输协议，通过代理TCP连接，FillP使用UDP传输原本TCP承载的数据。在UDP传输机制的基础上，FillP引入反馈机制来实现高带宽的利用率，在高时延、高丢包率的场景下，其传输速率比传统TCP快近百倍。

相比于传统的TCP优化算法，FillP具有如下特点。

（1） FillP是一个流传输协议，对丢包和时延都不敏感。相比于传统的TCP算法，FillP使用UDP承载TCP数据并且直接放弃了TCP窗口，因此FillP不会出现传统TCP算法固有的“有数据发不出去的”情况。此外，即使链路上有报文丢失，FillP也会依靠协议栈缓存的报文，通过重传恢复。总之，FillP通过这种方式保证了高效使用链路的带宽。

（2）精准流控。发送端根据自身的发送能力、接收端反馈的丢包信息和接收速率等综合评估，在容忍链路有丢包的情况下保持发送速率。双端都采用精确估算带宽和时延的方式来计算发送速率，不会在链路出现拥塞的情况下持续加剧拥塞，保障了平稳的发送速率。

（3）采用双确认机制。采用NACK（Negative-Acknowledge，否定应答）机制用来实现接收端向发送端快速反馈丢包信息。这样，接收端可以迅速请求重发丢失的报文，并通知发送端释放已接收到的报文。另外FillP还提供周期性发送PACK（Periodic-Acknowledge，周期性应答）报文的机制，突破传统的“接收触发ACK”的模式，解决了因ACK报文丢失导致的发送端停止发送报文的问题。

（4）采用双序列号机制。传统TCP对传输的字节使用序列号机制，接收端只知道丢失了哪些字节，但不能确定丢失的是哪个报文。而FillP增加了报文序列号，接收端可以快速识别丢失的报文，从而在丢包时可以重传该报文。因此，FillP不会像传统TCP算法那样受到丢包和RTT增加的严重影响，而是始终保持较高的发包速率。

由此可见，FillP通过把发送端主动推送数据和接收端主动反馈丢包相结合，使得在高丢包率、高时延的情况下仍然可以保持高速的数据传输。

FillP一般适用于大量数据迁移的场景，以虚拟机迁移场景为例。站点A和站点B是两个数据中心，某个员工出差前在靠近数据中心A的地点办公，他使用的虚拟机运行在数据中心A的服务器上。他出差后，需要在靠近数据中心B的位置访问员工的虚拟机。数据中心会把他的虚拟机自动从数据中心A迁移到数据中心B，如图6-44所示。

图6-44 应用数据迁移场景

由于跨数据中心迁移虚拟机产生的数据量比较大，并且可能有多位员工的虚拟机要迁移，因此迁移速度缓慢。对此可以在数据中心A和数据中心点B的出口网关CPE都部署FillP优化功能，对流经CPE的虚拟机迁移流量进行优化。

6.5.4 第三方广域优化

由于细分领域和设备能力方面的原因，数据压缩去重、应用优化一般会由第三方广域优化厂商来实现，此处仅对此进行简单解释。

1.数据去重压缩

虽然BBR算法、FillP等传输优化算法可以加快数据的传输速度，但是有些时候限制传输速率的因素不是TCP算法本身，而是企业购买的带宽有限，或者分配给TCP应用的带宽有限。在这种情况下，可用带宽有限才是性能无法提升的关键原因。此时，仅仅通过优化TCP算法的方式对应用加速的效果并不明显，可以通过削减WAN流量的方式加快数据传输。

通常减少传输数据量的方法是在两端站点部署数据去重功能，如图6-45所示，其步骤如下。

图6-45 数据去重过程

步骤① 当Bob第一次向Alice传输数据报文时， CPE对数据进行缓存、分块并建立索引，发送原始数据报文。缓存模块进行数据的缓存和索引的同步。

步骤② 当后续再次传输相同数据时，发送端CPE先查找本地缓存，如果可以找到数据分块，则只传输数据分块对应的索引，而不再传输实际的数据分块。

步骤③ 接收端CPE根据收到的索引，快速查找本地缓存中的数据分块，恢复原始数据，并发往客户端。

除了数据去重，数据压缩技术也可以显著减少数据传输量，即发送端将数据通过无损压缩算法进行压缩，可以减少原始数据中的信息冗余度。例如，把原始的4个报文压缩成2个报文，然后将压缩数据发送到接收端CPE。接收端 CPE通过压缩数据报文自带的信息还原出原始数据，并发送给接收端设备，如图6-46所示。

图6-46 数据压缩过程

综上所述，通过数据去重和压缩技术，可以削减网络流量，加快数据传输。

2.网页和基于网页的应用的优化技术

企业的软件系统很多是基于网页的，为了适应多种系统，越来越多的应用开始使用Web进行技术开发，这些软件系统虽然以独立应用的方式提供，但其内部还是需要访问网页。所以加速网页的访问速度，可以加速大部分应用的使用场景。

为了加速网页的访问速度，一般可采用下列技术，方案如图6-47所示。

图6-47 加速网页访问速度的优化技术

（1）缓存。浏览器访问网站时，一般需要建立多个TCP连接，通过很多请求获取多个文本、图片文件才能显示一个页面。广域优化设备可以在其第一次访问时就把这些文件缓存在本地，随后访问时，直接从本地查找后回复客户端，而不需要从远端服务器重新获取。

（2）合并。静态网页上涉及的文件往往能批量获取，所以可以把文件合并到一起，通过一次HTTP请求即可获取所有文件。这样就节省了HTTP交互的时延，提升了网页打开的速度。

（3）预取/延迟读取。当网页里有多个链接时，为了提升打开的速度，可以预先把链接所引用的文件读取到本地，这样用户点击时就可以直接返回给用户；此外，如果网页比较大，可以先加载网页中的一部分并将其展示给用户，一屏显示不了的内容可以后续慢慢加载。

3.文件传输协议和数据库访问协议优化技术

一些文件传输协议和数据库访问协议设计时只考虑了LAN，没有考虑在因特网这种高时延的网络上的传输，因而交互次数非常多。而WAN加速设备可以合并这些请求，进行代理应答。这样就不需要在互联网上进行频繁的交互，从而加速了文件访问，提升了传输性能，如图6-48所示。

图6-48 文件传输和数据库访问

4.视频优化技术

视频应用一般可以分为3类：即时通信类、直播类、点播类。不同类别的视频特点不同，相应的优化方式一般也不同，如图6-49所示。

即时通信类视频应用采用抗丢包技术。典型应用是双向视频通话或单向视频监控。摄像头采集图像对影像传输的实时性要求非常高，所以一般采用UDP传输。但是视频应用对丢包又很敏感，所以一般采用FEC、包复制等抗丢包方案。

直播类视频应用采用视频流聚合技术。典型应用是大型组织的大会直播，流量特点是大量用户集中在同一时间访问服务器，但是允许有秒级的时延，一般采用TCP传输视频流，其特点在于有缓存，所以对丢包不敏感，且TCP本身会进行重传。这种应用的难点在于点播的用户太多，对链路带宽占用非常大，常常导致网络拥塞。优化设备一般采用集中代理的方式，用一条链路连接请求视频并将其缓存到内存中，播放给站点内的大量用户。

图6-49 视频优化

点播类视频应用采用数据缓存技术。典型应用是网页或程序界面中嵌入的视频，这种视频不会被同时访问，但是被多次访问时会占用WAN侧带宽。相应的优化方式是数据缓存技术，该技术一般会把视频分割成小段存储到硬盘上。此外，为了安全考虑，数据块在硬盘上需要加密保存。

5.SaaS云应用访问优化技术

SaaS云应用一般都是Web化的应用，部署在云端，所以网页类应用优化技术对该类SaaS云应用都适用。除此之外，针对常见的特定SaaS云应用（如Office365，云盘、ERP等）还可以进行选路优化，如图6-50所示。

（1） SD-WAN外网选路

对企业来说，选择距离SaaS所在的数据中心较近的、链路质量较好的WAN出口访问SaaS云应用，可以显著提升SaaS云应用的质量。例如通过站点B和站点C都可以访问SaaS云应用，但是通过站点C的效果更好，所以选择站点C作为出口站点。

（2） SD-WAN内网选路

通过综合测量SD-WAN整网的质量，使应用在SD-WAN内部选择最优的路径到达企业出口。对于前述例子中的SaaS云应用，从站点C出口效果最好，但是从站点A到站点C有两条路径：A—D—C和A—C，需要使用内网选路技术从中选择一条最优链路。

图6-50 SaaS云应用访问

（3）第三方专用网络

对于地域分布很少的企业，由于站点不多，导致不管以哪个站点作为出口访问SaaS云应用，效果都不理想。此时可以由WAN优化厂商提供专有网络接入SaaS云应用，这种方式需要WAN优化厂商与SaaS提供商合作建设。企业可以通过接入这个第三方专用的优化网络来访问SaaS云应用。

通常会综合使用上述3种选路技术，以得到端到端的最优方案。

6.6 面向意图的应用体验优化

从前几节的介绍可以看出，应用体验的保障方案包含选路、QoS和广域优化。这些保障方案会涉及很多技术。那么，如何把这些独立的技术整合起来，以保障应用的整体体验呢？面对这个问题，一般有两种解决策略。策略一是分别独立配置各种保障技术，通过使用精细化的模板详细指定使用的条件和参数；策略二是把各种保障技术有机地融合起来，由SD-WAN解决方案整体提供面向意图的体验保障措施。

对于策略一，其本质就是前文已经介绍了的各个保障技术单独使用的情况。这种分别配置各种保障技术的策略虽然看起来很直观，但是存在如下问题。

（1） 3种保障方案分开配置，方案中的每种技术都有很多参数且配置复杂，导致用户难以理解和使用。

（2）保障方案分开配置，不能联动，会导致最终无法保证应用的完整体验，甚至可能存在配置冲突的情况，如下所示。

·单独配置使用选路业务时可能出现无路可选（所有链路的链路质量均不满足）的情况，此时将无法保证应用体验；当路径出现拥塞时，频繁切换链路还会导致体验下降。

·单独配置使用抗丢包优化时，因为没有与链路状态关联，启用FEC会导致不必要的性能损耗，并且在带宽不足时启用FEC会加剧拥塞。

·单独配置使用QoS时，空闲链路无法被充分利用，链路断了或者链路质量下降时无法动态调整到质量好的链路，并且QoS对链路上的丢包也无能为力。

以上3种保障方案都采用了保证体验的综合技术，在业务流程上分成3个阶段独立执行时，三者间的业务处理无关联，存在多次表项查找，影响性能。

所以从简化配置和提高业务运行效率的角度来看，策略二将各种保障技术有机融合所形成的方案能带来更好的用户体验。

就像专业人员喜欢用相机的手动模式，而大多数人却偏爱自动模式一样，面向意图的体验优化方案才更适合大多数企业，如图6-51所示。

图6-51 应用体验方案对比

下面将详细探讨面向意图的应用体验优化方案。

6.6.1 体验优化方案

针对分别配置体验优化方案会出现的配置复杂、各业务无联动、执行效率低的问题，面向意图的应用体验优化方案做出了改进，方案如图6-52所示。

图6-52 面向意图的应用体验优化方案改进版

面向意图的体验优化方案包括两个子方案：集中配置子方案和融合调度子方案。

通过集中配置子方案，用户可以只根据业务特征和需求进行业务分类，而不需要关心具体的配置参数，减轻了用户的配置负担。

通过融合调度子方案，CPE可以实现：只对流量做一次匹配分类，不再需要各个业务多次匹配，减少了CPE上的计算量；根据应用的特点和实时的网络质量，动态地调用选路、抗丢包优化、QoS等优化技术，使多种优化技术有机地融合起来，提升应用的质量。

下面将详细地介绍对集中配置子方案和融合调度子方案。

6.6.2 集中配置子方案

集中配置子方案提供了默认的体验分类模板，用户只需要根据业务特征和需求，将业务归到相应的类别即可。网络控制器内部在处理时，会自动进行相关策略以及参数的编排和关联。

集中配置的主要业务流如下。

步骤① 管理员创建面向意图的业务模板。

步骤② 管理员选择应用。根据业务创建相应的业务流分类模板，流分类模板的配置与QoS等其他业务相同，不再重复说明。

步骤③ 管理员配置业务体验保障的级别，随后网络控制器会根据用户选择的业务体验保证级别引用相应的质量属性参数，包括：

·可以选择默认的高/中/低业务类别，业务类别的级别体现了某类业务对网络质量的要求；

·可以选择自定义业务的体验保证级别，并由用户设置参数。

步骤④ 业务下发和执行。网络控制器将编排好的模板和参数下发到网络设备，由网络设备根据策略配置执行相应的业务流程。

网络控制器的配置界面如图6-53所示。

图6-53 面向意图的应用体验优化方案配置界面

从配置可以看出，集中配置的关键在于划分业务的体验保障级别，接下来详细讨论业务的体验保障级别。

参考RFC 4594，一般可以根据业务对链路质量属性的要求，把业务按体验保障级别分成多个等级。划分这些体验保障级别之后，可以根据业务所属的级别使用相应的默认QoS队列。其中用户自定义业务可以指定不同的QoS分类优先级（QoS分类调度基于当前SD-WAN解决方案的HQoS调度模型）。

基于当前业务分布情况，体验保障方案定义了3个默认的分类级别，如表6-7所示。

表6-7 业务体验保障级别划分

其中，需要给予体验优先保障类业务最好的链路选择，当网络丢包率达到即将影响该类业务的应用体验时，需及时启用抗丢包优化保障技术，并且采用高优先级的QoS队列。通过这一系列的优化措施，可保障体验优先保障类业务拥有最优的使用体验。

对其他类别中不同或者相同体验保障级别的业务，按照业务的重要性对其提供其他相关质量保障技术，具体如下：

·Real-Time（高优先级的实时类）：对企业中的语音和视频类业务提供高级别的QoS保证；

·Transactional（中优先级的事务类）：对企业中主要的交互类业务提供中等级别的QoS保证；

·Bulk（低优先级的数据复制/电子邮件/文件传输）：对企业中的传输类业务提供低级别的QoS保证。

6.6.3 融合调度子方案

在多特性融合的业务处理流程中，只需要一次匹配就可以按照业务链执行多种体验保障业务。CPE依据网络控制器的配置，执行联动的应用保障的过程如图6-54所示。

图6-54 联动的应用保障过程

首先根据业务流量匹配规则查找需要执行的业务体验保障方案。根据保障方案的配置对业务进行分类，基于分类结果设置不同体验优先级并对应到相应的QoS分类。基于业务体验优先级，自动按照默认方案选择满足链路质量要求的链路，如果是体验保障类业务，则在最好的链路上进行传输。当链路质量低于阈值时，对体验保障类业务自动启用FEC等抗丢包优化。基于业务分类进行相应的QoS带宽限制和队列调度，QoS按照当前SD-WAN业务模型的三级调度实现。

第7章 安全乃重中之重

信息化时代，网络安全的重要性不言而喻。近些年来，频繁的 DDoS（Distributed Denial of Service，分布式拒绝服务）攻击、用户数据的大规模泄露、勒索软件的肆意传播等针对企业的攻击事件层出不穷，给业务的正常运转带来了严重的影响。

网络世界危机四伏，对于任何一个信息系统来说，安全都是重中之重，对于SD-WAN解决方案来说也不例外。网络安全无小事，要想应对安全挑战，必须要有全面的安全防护手段。本章介绍SD-WAN解决方案在安全防护方面所采取的具体措施。

7.1 安全新挑战

在传统的企业WAN环境中，企业分支站点通过MPLS专线等方式与总部站点互联，访问总部/数据中心来开展业务，或经过总部站点中转访问因特网。企业在总部实施安全策略（如部署防火墙等安全设备）就可以对分支访问数据中心以及分支访问因特网的行为进行安全管控。传统企业WAN的网络架构比较封闭，在一定程度上保证了网络的安全性。

SD-WAN解决方案出现后，企业WAN发生改变，新的组件和业务模型都要面临新的安全挑战。例如，网络控制器作为整个方案的大脑，其重要性毋庸置疑，但它的存在也增加了安全风险点；引入混合WAN链路后，业务流量会在因特网上传输，安全性难以保证。

具体来说，在部署和使用SD-WAN解决方案时主要面临以下的安全风险。

·非法接入：非法设备的接入，例如使用仿冒的CPE向网络控制器注册并接入网络将带来严重的安全风险。

·入侵行为：解决方案的组件对外提供交互接口，容易遭受因特网上的各类入侵攻击，影响系统的稳定性和可用性。

·数据泄露：解决方案组件间的通信数据以及站点间的业务数据会在因特网上传输，存在被窃取或被篡改的安全隐患。

·业务侵害：分支站点直接访问因特网开展业务，这就为病毒、恶意文件、勒索软件在因特网上的传播提供了便利，给业务带来侵害。

SD-WAN解决方案在企业分支互联和分支入云方面的优势明显，但也在无形中扩大了受攻击面。因此，SD-WAN解决方案不只带来了“奶酪”，也带来了新的安全挑战。如何应对这些安全挑战，保证运行环境的安全、可靠、稳定，是必须要考虑的问题。

安全是个系统性的工程，为了更好地分析SD-WAN解决方案面临的安全问题并找到对应的解决措施，SD-WAN解决方案的安全从整体上可以分为两个层面，即系统安全和业务安全，如图7-1所示。

图7-1 SD-WAN解决方案安全分类

系统安全是SD-WAN解决方案必备的基础安全能力。SD-WAN解决方案在初始化系统之后就应该自动具备这些能力，从而保障系统能够安全、可靠地运转。业务安全则是单独部署的安全功能，会随着业务情况而变化，要根据企业用户实际的业务安全需求，灵活选择适合的安全防护措施。

7.2 系统安全

系统安全主要包括SD-WAN解决方案中组件自身的安全，以及组件间的通信安全。SD-WAN解决方案是一个比较复杂的系统，包含多个组件，组件本身以及组件之间的通信都会受到安全威胁。因此，必须要有相应的安全措施来保证SD-WAN系统的构建和运转是安全的。

（1）组件自身安全

组件自身要具备健壮的系统架构和完善的安全加固策略，并通过权限控制、账号/密码管理、数据保护、安全审计等多种措施保证自身的安全性。另外，组件所在的物理环境和网络环境也要得到安全保障，必要时要将组件，特别是网络控制器部署在受防火墙、Anti-DDoS等安全设备保护的特定区域中，防范各类攻击。

（2）组件间通信安全

组件之间的通信安全主要包括组件互信、安全接入、数据加密等，会涉及认证、加密、验证等技术手段。在SDWAN解决方案中，多种安全技术手段配合工作，组件之间通信的安全问题就会迎刃而解。

下面介绍组件自身安全和组件间通信安全的具体情况。

7.2.1 组件自身安全

网络控制器和CPE作为SD-WAN解决方案的基础组件，会面临各种安全威胁。网络控制器和CPE必须安全、稳定地运行，才能支撑SD-WAN解决方案的正常运转。

1.网络控制器

在SDWAN解决方案中，网络控制器作为整个网络的大脑，其安全性显得尤为重要。网络控制器由于逻辑集中的特点，更容易成为被攻击的目标，其开放的API、南向协议等，都会面临安全威胁和攻击。

网络控制器的安全性直接关系着整个网络的可靠性和可用性，攻击者一旦成功地攻击了网络控制器，如DoS（Denial of Service，拒绝服务）、获取网络控制器权限等，就会影响整个网络，带来严重的安全问题。因此，网络控制器本身要具备完善的安全加固策略，削减各种安全风险，具体如表7-1所示。

表7-1 网络控制器安全加固策略

续表

2.CPE

无论是何种形态的CPE，自身都要具备安全的系统架构，并支持多种安全防护措施，保证CPE能够抵御各种安全威胁。

首先，CPE的系统架构应遵循ITU-T（International Telecommunication Union-Telecommunication Standardization Sector，国际电信联盟电信标准化部门）制定的X.805标准，基于三层三面安全隔离机制，将控制平面、管理平面和转发平面进行隔离，保证任何一个平面在遭受攻击时，不会影响其他平面的正常运行。其次，CPE在控制平面、管理平面和转发平面应具备多种安全防御能力，包括但不限于以下几种。

（1）物理安全

CPE应能够关闭业务不使用的端口、串口和服务，防止遭受来自这些端口、串口和服务的攻击。

（2）数据安全

CPE应具备对业务数据、用户名、密码等敏感信息进行加密保存的功能，防止敏感信息泄露。同时，为了防止非法的数据访问，应对数据的访问权限进行控制。

（3）认证鉴权

CPE应提供系统权限控制和账号权限管理功能，对登录行为进行严格的身份认证和权限控制，支持账号/密码保护、密码复杂度检查以及密码防暴力破解等机制。

（4）防攻击

CPE应具备防范各类网络攻击的功能，如防范IP泛洪攻击、ICMP泛洪攻击、ARP（Address Resolution Protocol，地址解析协议）泛洪攻击、ARP欺骗、Smurf攻击、畸形报文攻击、非法报文攻击等。

CPE应支持CPCAR（Control Plane Committed Access Rate，控制平面限速），针对每一种协议（或者协议的某种典型的消息），设置上报到控制平面的带宽限制，防止CPU被非法攻击。

（5）安全审计

CPE应具备完备的日志记录系统，保证能够记录系统的任何配置操作和系统运行过程中的各种异常状态，便于事后审计。

7.2.2 组件间通信安全

1.认证、加密、验证的基本原理

网络世界中，认证、加密、验证这3种技术手段是保证通信双方安全交互的基础，SD-WAN解决方案使用这3种技术来保证组件之间安全可靠的通信。下面先来简单回顾一下对称密钥机制、公钥机制（也称非对称密钥机制）和哈希计算，它们是实现认证、加密和验证的理论基础。

对称密钥机制指的是通信双方使用相同的算法和密钥去加密和解密数据，在加密和解密过程中用到的密钥是双方都知道的，即双方的“共享密钥”。而公钥机制使用了两个不同的密钥：一个可对外界公开，称为“公钥”；一个只有所有者知道，称为“私钥”。用公钥加密的信息只能用相应的私钥解密，反之，用私钥加密的信息也只能用相应的公钥解密，即用其中任一个密钥加密的信息只能用另一个密钥解密。

目前，常用的基于对称密钥机制的算法有AES（Advanced Encryption Standard，高级加密标准）算法等，基于公钥机制的算法有RSA（RivestShamir-Adleman，RSA加密算法）、DH（Diffie-Hellman）算法等。其中，RSA可实现数据的加密和解密、真实性验证和完整性验证；而DH算法是一种密钥交换算法，由通信双方通过一系列的数据交换，最终计算出密钥。

另外，哈希计算是实现数据完整性验证的一个重要环节。哈希计算可以将任意长度的字符串处理得到固定长度的字符串，并且该计算是单向计算，无法逆推。最重要的是，原字符串任意字符的变化都会导致不同的计算结果。哈希计算后得出的信息通常被称为原字符串的摘要信息。通过对比摘要信息，就可以判断数据是否被修改。常见的哈希算法有SHA（Secure Hash Algorithm，安全哈希算法，也称安全散列算法）系列等。

回顾了对称密钥机制、公钥机制和哈希计算后，下面再来简单介绍一下认证、加密和验证的基本原理。

（1）认证

认证是指通信双方验证对方身份信息的过程，这也是网络安全领域中广泛使用的安全保证措施。常用的身份认证方式有账号/密码认证、证书认证等，其中证书认证方式使用得非常普遍。证书是一种安全可信的载体，也被称为数字证书，相当于网络世界中的“身份证”。证书将持有者的身份信息和公钥相关联，保证公钥确实属于证书持有者，这样的话，通过验证证书就可以确认持有者的身份。常见的证书结构如图7-2所示。

证书认证的原理基于PKI（Public Key Infrastructure，公钥基础设施）体系架构，证书由权威的、公正的、可信任的CA（Certificate Authority，证书认证机构）颁发，通信双方使用证书验证身份时，除了通信双方各自的证书外，还会用到CA自身的证书。

图7-2 证书结构

如图7-3所示，以A验证B为例。A首先需要获取为B颁发证书的CA的证书，使用CA证书中的公钥解密B证书中的签名，得到摘要信息；然后，A使用B证书中的哈希算法对B证书进行哈希计算，也得到一个摘要信息。A将两个摘要信息进行对比，如果两者一致，就说明B的证书确实是由CA颁发的（能用CA的公钥解密说明该CA确实持有私钥），且没有被篡改过，此时该证书没有问题，B的身份得到认证。

图7-3 证书的验证过程

（2）加密

加密是一种将数据按照某种算法从明文转换成密文的过程，用于保证数据的机密性。解密是加密的逆过程。在对称密钥机制中，通信双方使用相同的密钥加解密数据，加解密过程如图7-4所示。

图7-4 对称密钥机制的加解密过程

在公钥机制中，通信双方使用不同的密钥加解密数据，加解密过程如图7-5所示。

图7-5 公钥加解密过程

与对称密钥机制相比，公钥机制加密数据的计算过程非常复杂，开销大且速度较慢，所以不适用于大量数据的加密。在实际使用中，通信双方通常会使用基于公钥机制的算法（如DH算法）协商密钥，以保证交换密钥材料的安全性。待双方计算出密钥后，最终使用基于对称密钥机制的算法（如AES算法）来加密实际的数据，对称密钥机制和公钥机制各自分工、配合使用，兼顾了效率和安全性。

（3）验证

验证是指通信双方确认数据在传输过程中是否遭到篡改，即验证数据完整性的过程。完整性验证是通过使用私钥加密、公钥解密的方式来实现的。具体来说，发送方先使用哈希算法对原始数据进行处理，得到摘要信息（也被称为数字指纹），然后使用自己的私钥将摘要信息加密，形成数字签名，最后将数据和数字签名一并发出。

接收方收到数据和数字签名后，使用相同的哈希算法对数据进行哈希计算，得到摘要信息；然后使用发送方的公钥对签名进行解密，得到另一个摘要信息。接收方对比两个摘要信息，如果一致，就说明数据确实来自发送方，且没有被篡改，这样就实现了数据的完整性验证。

数字签名的加解密过程如图7-6所示。

甲和乙事先获得对方的公钥，然后按以下步骤完成数字签名的加解密。

步骤① 甲使用乙的公钥对明文进行加密，生成密文信息。

步骤② 甲使用哈希算法对明文进行哈希计算，生成数字指纹。

步骤③ 甲使用自己的私钥对数字指纹进行加密，生成数字签名。

步骤④ 甲将密文信息和数字签名一起发送给乙。

步骤⑤ 乙使用甲的公钥对数字签名进行解密，得到数字指纹。

步骤⑥ 乙接收到甲的加密信息后，使用自己的私钥对密文信息进行解密，得到最初的明文。

步骤⑦ 乙使用哈希算法对明文进行哈希计算，生成数字指纹。

步骤⑧ 乙将生成的数字指纹与得到的数字指纹进行比较，如果一致，乙接受明文；如果不一致，乙丢弃明文。

图7-6 数字签名的加解密过程

2.基于零信任的接入认证

在SDWAN解决方案中，CPE通过即插即用的方式上线，开局过程虽然便捷，但是会面临CPE被仿冒和非法接入等安全问题。针对CPE接入的场景，SD-WAN解决方案基于零信任的安全理念，严格验证CPE的身份信息，确保只有合法的CPE才能接入。

零信任是一个安全概念，其核心思想是不应该信任网络内部和外部的任何人/事/物，应该在授权前对任何试图接入系统的人/事/物进行验证。SD-WAN解决方案借鉴了零信任的思想，综合运用各种验证机制，确保 SD-WAN系统是由“正确的人”使用“正确的设备”构建的。

（1）开局阶段

第4章中介绍过CPE即插即用开局，在这一阶段中，要有必要的安全措施来保证CPE的开局安全。在人员方面，要确保开局邮件、开局U盘发给信任的站点开局人员；开局邮件中的URL地址要进行加密处理，也要通过安全的方式告知站点开局人员解密密码，这就保证了开局操作是由“正确的人”来执行的。

CPE开局时，如果采用的是ESN与站点绑定的方式，网络控制器则通过ESN对CPE进行检查并确定CPE所属的站点；如果采用的是ESN与站点解耦的方式，网络控制器则通过令牌确定CPE所属的站点，由于令牌本身存在有效期的限制，网络控制器会对令牌的有效期进行校验，从而保证CPE开局的时效性安全。

CPE和网络控制器之间建立管理通道和控制通道时，双方使用证书认证方式来验证身份，证书由权威的安全机构颁发，代表着持有者的身份。证书认证是双向认证，即网络控制器会通过校验CPE的证书来验证CPE的身份，防止仿冒的CPE的接入；CPE也会通过验证网络控制器的证书来验证网络控制器的身份，防止仿冒的网络控制器的控制。

双向证书认证确保了CPE和网络控制器之间的互信，保障了“正确的设备”，如图7-7所示。

图7-7 CPE和网络控制器双向证书认证

CPE和网络控制器双向证书认证过程如下。

步骤① CPE和网络控制器在出厂时预置同一个CA颁发的证书，以及该CA自己的证书。

步骤② CPE上电后向网络控制器发起注册请求，请求中携带自己的证书。

步骤③ 网络控制器收到CPE的证书后，使用CA证书验证CPE的证书，同时校验CPE的ESN。

步骤④ 网络控制器向CPE发送自己的证书。

步骤⑤ CPE收到网络控制器的证书后，使用CA的证书验证网络控制器的证书。

步骤⑥ 双向认证通过，CPE成功上线注册。

通常预置的证书仅用于CPE启动后的注册上线，企业用户应将预置证书替换为自己的证书，如替换为企业自己的CA颁发的证书或者替换为企业向第三方CA购买的证书。

（2）运行阶段

有些企业的分支站点规模较小，不具备专业的机房环境，通常所用的CPE也是桌面型设备，容易发生被盗的情况。攻击者盗取CPE后上线，利用CPE上已有的配置信息，就可能接入企业的内网，造成安全隐患。

针对这种情况，网络控制器应支持检测CPE地理位置或接入环境的变化，一旦CPE的地理位置或接入环境发生改变，网络控制器就不允许其接入，或者网络控制器会给出警告信息，待网络管理员确认没有问题后，才允许CPE接入。另外，网络控制器上还应支持隔离功能，网络管理员可以在网络控制器上将可疑CPE从网络中隔离出去，削减可疑CPE接入后带来的安全隐患。

3.使用安全通信协议保护数据

图7-8 管理通道和控制通道

CPE与网络控制器之间的通信数据在因特网上传输时，会面临数据泄露的安全风险，必须使用加密机制来保证数据在传输过程中的机密性。除了数据的机密性之外，也要保证CPE与网络控制器之间的通信数据在传输过程中不能遭到篡改，即保证数据的完整性。

通常情况下，CPE和网络控制器会使用SSH、TLS或DTLS协议建立管理通道和控制通道，如图7-8所示。SSH/TLS/DTLS协议提供的加密和验证功能保证了CPE和网络控制器之间通信数据的机密性和完整性。

具体来说，CPE和网络控制器在建立SSH/TLS/DTLS连接时，一般会通过DH算法计算出对称加密密钥，并协商所使用的加密算法。CPE和网络控制器之间后续的交互数据都承载于SSH/TLS/DTLS连接之上，受SSH/TLS/DTLS连接的加密保护，如NETCONF over SSH、HTTP2.0 over TLS等，从而保证了数据在传输过程中的机密性。同样，数据的完整性保证也要依靠SSH/TLS/DTLS协议来实现。

CPE和CPE之间建立的数据通道代表着站点之间的互联互通。数据通道是建立在Underlay网络之上的Overlay隧道，用于传输业务流量，即站点间的业务流量由CPE之间建立的Overlay隧道来承载。数据通道的安全需求相对来说比较简单，主要是保证CPE之间Overlay隧道的机密性和完整性。通常情况下，CPE之间会使用IPSec来保证数据的安全性，如图7-9所示。

传统方式下，CPE之间使用IKE协议来建立IPSec隧道。CPE之间先协商建立IKE连接，然后在此基础上建立IPSec SA。如果一台CPE要和其他多台CPE建立IPSec隧道，那么该CPE就要分别与其他CPE协商建立IKE连接和IPSec SA，这样就会占用更多CPE的系统资源，也不便于IPSec密钥的管理。

在SDWAN解决方案中，为了解决上述问题，可以通过网络控制器来向各个CPE分发建立IPSec SA所需的信息，而无须通过IKE协议建立IPSec隧道，如图7-10所示。

图7-9 数据通道

图7-10 网络控制器分发IPSec SA信息

网络控制器通过控制通道来接收并分发IPSec SA信息。这种方式大大减少了CPE的系统资源消耗，也提高了CPE之间建立IPSec连接的灵活性和可扩展性。另外，IPSec SA会定期更新，进一步提高了安全性。

需要注意的是，CPE建立IPSec SA所使用的密钥可以通过不同的方式生成。例如，可以预先设置好密钥，然后通过网络控制器直接分发给各个CPE，也可以由CPE之间协商计算得出。

4.多租户场景安全隔离

在运营商/MSP转售的场景中，运营商/MSP要向众多的企业用户提供SD-WAN服务。通常情况下，一个企业作为一个租户，运营商/MSP提供的网络要支持同时管理多个租户。这就要求网络控制器支持多租户的管理，且不同租户间要实施安全隔离。

多租户场景下面临的安全威胁主要包括：CPE非法接入，某个租户的CPE与另一个租户的网络控制器建立管理通道和控制通道，进而与另一租户的CPE建立数据通道；数据泄露，某个租户窃取到其他租户的业务数据，等等。

通常情况下，网络控制器应提供严格的安全隔离功能，使不同租户具有各自的管理通道和控制通道。在此条件下，同一个租户的CPE才能建立数据通道。例如，租户A的CPE发布的信息不能扩散到租户B的CPE；租户B的CPE也不能接入租户A的网络中建立管理通道和控制通道，更不能与租户A的CPE建立数据通道。

以网络控制器同时管理租户A和租户B为例，多租户场景的安全隔离如图7-11所示。

图7-11 多租户场景下安全隔离

多租户场景下，SD-WAN解决方案中的IWG设备一般是多租户共享设备，如果使用传统的直接分发IPSec SA密钥的方式，可能存在不同租户的CPE发往IWG的流量都使用相同密钥进行加解密的情况，导致一个租户可以解密其他租户的流量，带来数据安全问题。

通常出于安全性的考虑，在多租户场景下，CPE之间以及CPE和IWG之间会使用DH算法进行协商，由网络控制器分发密钥材料，需要建立IPSec SA的设备（CPE、IWG）通过交换密钥材料来计算出密钥。以CPE之间协商加密密钥为例，密钥的生成方式如图7-12所示。

图7-12 IPSec SA加密密钥的生成

与直接分发密钥的方式相比，采用DH算法协商的方式安全性更高。攻击者即使获取了设备之间交互的密钥材料，也无法计算出密钥。此外，使用DH算法后，不同租户的CPE与IWG建立的IPSec SA都使用不同的密钥，使得不同租户的CPE发往IWG的流量都使用不同的密钥加解密，进一步增强了安全性。

7.3 业务安全

对于业务层面的安全，主要关注的是SD-WAN解决方案上所承载业务的安全，防范来自因特网的各种攻击和入侵行为，保证业务正常运行。业务安全的保障需要结合实际的业务模型，根据具体情况具体分析。

ONUG SD-WAN 2.0工作组定义的用于企业SD-WAN多云集成的参考架构重点关注了分支机构和云的安全性。将本地安全性与基于云的安全性集成，可用于应对将SD-WAN连接性集成到混合多云环境中带来的一系列安全挑战。参考架构中针对不同的业务场景定义了相应的安全用例，例如，针对站点间互访的安全用例、针对分支站点内访客直接访问因特网的安全用例、针对分支站点直接访问因特网的安全用例、针对分支站点直接访问SaaS云应用的安全用例。

参考ONUG SD-WAN 2.0工作组定义的安全用例，在分析业务安全的需求之前，首先要了解SD-WAN中的业务场景。与传统的企业WAN相比，SD-WAN引入了混合WAN链路，因特网成为传输业务流量的重要方式。站点间互访的业务流量可以通过因特网传输；分支站点可以通过本地上网的方式直接访问因特网；另外，在企业应用云化的趋势下，分支站点也会直接通过因特网访问SaaS云应用来开展业务，如图7-13所示。

图7-13 SD-WAN业务场景

以上这几种业务场景都面临安全挑战，需要采取相应的安全措施来保证业务的安全性。

（1） 站点间互访

站点间互访的业务流量会通过CPE之间建立的连接来传输。针对站点间互访业务，重点需要关注业务流量在因特网上传输时的安全性。通常情况下，CPE之间会使用IPSec来建立连接，通过加密、完整性验证等机制，保证数据不被窃取或篡改。

（2） 站点访问因特网

SD-WAN解决方案中引入因特网链路后，企业的分支站点可以直接访问因特网，但业务模型的改变也带来了安全问题。分支站点直接访问因特网，就相当于向因特网打开了大门，面临安全风险。针对这种业务场景，一般来说，安全防护措施要部署在站点侧，通过CPE/uCPE提供安全防护功能。

（3） 站点入云

随着企业的传统应用逐渐云化，企业的分支站点会借助因特网直接访问公有云上的应用，访问公有云的业务流量同样会面临安全风险。针对这种业务场景，可以考虑将安全防护的位置上移，即在云端部署安全防护措施。例如，可以将第三方云安全服务商集成到SD-WAN解决方案中，借助第三方云安全服务商对分支入云的业务流量进行安全防护。

接下来介绍针对这3种业务场景实施的安全防护的具体情况。

7.3.1 站点间互访

站点间的互联互通是通过CPE之间的连接来实现的。具体来说，CPE会基于Underlay网络建立Overlay隧道，站点间互访的业务流量由Overlay隧道来承载。由于站点间互访的业务流量会在因特网上传输，所以Overlay隧道一般都会使用IPSec来保护业务流量，保证其在传输过程中的机密性和完整性，如图7-14所示。

图7-14 站点互访业务安全

CPE之间建立IPSec隧道时，会通过网络控制器分发建立IPSec SA所需的信息，不再需要使用IKE协议建立连接。另外，如前所述，IPSec SA所使用的密钥可以预先设置，再通过网络控制器直接分发给各个CPE；也可以由CPE之间通过DH算法协商计算得出。

7.3.2 站点访问因特网

因特网链路的引入使站点可以通过CPE直接访问因特网，此时CPE位于安全防护的第一线，这就要求CPE本身要具备一定的业务安全防护能力，具体如下。

流量过滤。流量过滤一般通过ACL实现，ACL是网络设备最基本的功能，广泛应用于安全防护。可以根据ACL规则对流量分类，进而对特定的流量采取阻断动作。

防火墙。防火墙是一种隔离技术，通过划分安全区域，在逻辑上隔离内网和外网，保护内网免受外部非法用户的侵入。

入侵防御。IPS（Intrusion Prevention System，入侵防御系统）是一种安全机制，通过分析网络流量特征来检测入侵行为（包括缓冲区溢出攻击、木马、蠕虫等），并对入侵行为实时响应，然后阻断入侵行为，保护网络免受侵害。

URL过滤。URL过滤功能可以对站点内用户访问的URL地址进行控制，禁止用户访问某些网页资源，规范用户的上网行为，减少安全风险。

上面列出了CPE应该具备的几个基本安全功能，如果需要具备高级安全功能，还可以通过部署VAS来实现。SD-WAN解决方案中的VAS部署方式通常包括在uCPE内部署VNF形态的虚拟网元，或者在CPE处旁挂物理防火墙。下文主要以uCPE内部署虚拟网元来进行介绍。在uCPE内部署虚拟化的安全设备（如vFW），提供内容过滤、文件过滤、高级威胁防御等高级安全功能，这也是SD-WAN解决方案中对业务提供安全防护的一种常用方案。

综上所述，对于站点访问因特网业务的安全防护，可以借助CPE内置的安全功能，也可以使用uCPE提供的VAS高级安全防护功能，具体可根据业务的实际情况灵活选择，如图7-15所示。

图7-15 站点访问因特网业务安全

下面分别从CPE内置安全功能和uCPE提供VAS高级安全防护功能这两个方面介绍站点访问因特网业务安全的具体情况。

1.CPE内置安全功能

（1）流量过滤

如果希望对企业内网与因特网之间交互的特定流量进行控制，可以配置流量过滤功能，即在CPE上设置ACL规则，根据报文的源IP地址、目的IP地址、源端口号、目的端口号等信息对报文进行分类，进而对报文执行过滤动作。通常情况下，流量过滤功能可以部署到CPE的WAN侧接口或LAN侧接口上，实现对经过CPE的流量的过滤。

CPE可通过策略的方式实现流量过滤功能。网络管理员在网络控制器上进行策略配置后，网络控制器会将ACL应用到CPE。在网络控制器上，流量过滤功能的配置界面如图7-16所示。

图7-16 流量过滤功能的配置界面

流量过滤功能的应用场景如图7-17所示。在WAN侧接口应用ACL，可以防止外网的特定流量进入分支内网。在LAN侧接口应用ACL，可以阻断分支内网访问外网的特定流量。

（2）防火墙

防火墙功能实现内外网隔离主要涉及如下两个概念。

·安全区域：简称区域，是一个或多个接口的组合，这些接口所连接的网络具有相同的安全属性。

·安全域间：任何两个安全区域都构成一个安全域间，报文在两个安全区域之间流动时会触发防火墙功能。

图7-17 流量过滤功能应用场景

通常情况下CPE可通过策略的方式启用防火墙功能，策略会应用到安全域间。在配置防火墙功能时，需要考虑安全区域的规划以及策略所应用到的安全域间的范围。在SDWAN解决方案中，网络管理员只需在网络控制器上进行简单的操作，网络控制器会根据CPE的实际情况对安全区域进行自动编排，并将策略应用到相应的安全域间。采用这种方式，网络管理员无须通过CLI对CPE进行烦琐的配置，从而简化了配置过程，节省了工作量。在网络控制器上，防火墙功能的配置界面如图7-18所示。

图7-18 防火墙功能的配置界面

接下来以集中上网和本地上网为例介绍防火墙功能的应用场景。在CPE上开启防火墙功能，对企业分支站点和总部站点内网访问因特网的业务流量进行安全防护，如图7-19所示。在集中上网场景中，所有分支站点的上网流量都绕行至总部站点后访问因特网。在总部站点的CPE上启用防火墙功能，可对访问因特网的业务流量进行安全防护。在本地上网场景中，分支站点和总部站点从本地CPE直接访问因特网。在分支站点和总部站点的CPE上启用防火墙功能，可对访问因特网的业务流量进行安全防护。

图7-19 防火墙功能应用场景

（3）IPS

CPE中会预置IPS特征库，特征库中包含各种常见的入侵行为特征。IPS将报文的特征与特征库中的特征进行对比，如果匹配，则认定发生入侵行为，进而采取相应的防御措施。IPS特征库也需定期升级，使CPE能够识别新的攻击和入侵行为，从而更好地防御网络中的威胁。

CPE也可通过策略的方式实现IPS功能，策略会应用到安全域间。在SDWAN解决方案中，网络管理员只需在网络控制器上进行简单的操作，网络控制器会根据CPE的实际情况对安全区域进行自动编排，并将策略应用到相应的安全域间。采用这种方式，网络管理员无须通过CLI对CPE进行烦琐的配置，从而简化了配置过程。在网络控制器上，IPS功能的配置界面如图7-20所示。

图7-20 IPS功能的配置界面

IPS功能的应用场景如图7-21所示，包括集中上网和本地上网。在CPE上开启IPS功能，对企业分支站点和总部站点内网访问因特网的业务流量进行安全防护。在集中上网场景中，所有分支站点的上网流量都绕行至总部站点后访问因特网。在总部站点的CPE上启用IPS功能，可阻断来自因特网的各种入侵行为。在本地上网场景中，分支站点的上网流量从本地CPE直接访问因特网。在分支站点和总部站点的CPE上启用IPS功能，可阻断来自因特网的各种入侵行为。

（4）URL过滤

CPE启用URL过滤时一般可以使用预定义分类和黑白名单两种过滤方式，允许或禁止用户访问某个或某类URL。CPE会提取HTTP请求报文中的URL字段，并将这些URL字段与预定义分类或黑白名单进行匹配。如果匹配，则根据配置的响应动作对其进行处理。

图7-21 IPS功能应用场景

与防火墙功能和IPS功能相同，CPE也可通过策略的方式实现URL过滤功能，策略会应用到安全域间。网络管理员只需在网络控制器上进行简单的操作，网络控制器会根据CPE的实际情况对安全区域进行自动编排，并将策略应用到相应的安全域间。在网络控制器上，URL过滤功能的配置界面如图7-22所示。

图7-22 URL过滤功能的配置界面

URL过滤功能的应用场景如图7-23所示，以分支站点用户访问总部和因特网的Web服务器为例，在分支站点的CPE上开启URL过滤功能，对用户访问的URL进行管控。分支站点访问因特网的Web服务器时，在CPE上启用URL过滤功能，可对分支站点内用户访问因特网的URL进行控制，规范用户的上网行为。分支站点用户访问总部的Web服务器时，在CPE上启用URL过滤功能，可对分支站点内用户访问总部的URL进行控制，规范用户的访问行为。

图7-23 URL过滤功能的应用场景

2.uCPE提供VAS高级安全防护功能

图7-24 uCPE内部署vFW

在uCPE内部，虚拟化的安全设备在逻辑上是以独立的设备形态存在的，由网络控制器对业务链进行编排来控制进入uCPE的业务流量的转发。所谓业务链，是指定义并实例化一组有序的业务功能，然后让流量依次通过这些功能。

如图7-24所示，来自企业内网（LAN侧）的业务流量先由虚拟交换机模块引入vFW中，经过vFW的处理后，再返回至虚拟交换机，最后由路由器模块发送出去。回程的业务流量经过的路径与之类似。

使用uCPE来部署VNF形式的vFW，提供反病毒、内容过滤、文件过滤等高级安全功能，防御高级威胁，可以使企业获得随需随取的VAS高级安全防护服务，帮助企业减少硬件设备的投入。同时，还可以简化网络管理的复杂度，降低网络运维成本。

7.3.3 站点入云

在企业应用云化的背景下，企业分支站点可直接通过因特网访问SaaS云应用，如办公软件、数据库等。针对这些业务流量的安全防护，除了利用分支站点CPE/uCPE的安全功能之外，还可以借助云端的安全防护功能。

一些云安全服务提供商通过云平台提供安全服务。针对企业访问SaaS云应用的业务流量，提供接入控制、威胁检测、攻击防御、数据保护等服务，实现“安全即服务”。以云端服务的形式提供安全防护具有很高的可用性和可扩展性，并且能够与网络生态系统中的其他厂商的服务集成。

如图7-25所示，企业分支站点中的CPE对接第三方云安全服务商提供的云安全网关，通常CPE会与第三方云安全网关建立隧道，然后将分支站点访问SaaS云应用的流量通过隧道发送至第三方云安全网关进行安全检测。检测后，第三方云安全网关再将流量发送至相应的SaaS云应用。

SD-WAN解决方案集成第三方云安全服务商的云安全网关，利用第三方云安全服务商的安全服务，对分支上云的业务流量进行安全防护。这种方式能够降低成本、简化管理，并且提高云应用业务的访问体验和安全性，是一种行之有效的安全防护方式。

图7-25 站点入云业务安全

第8章 轻松运维无难事

传统的网络运维方式通常以设备为中心，网络管理员使用命令行管理单个设备或者使用网管集中管理多个设备，通过人工分析设备提供的数据进行故障定位和日常维护。传统的运维方式对网络管理员的技能要求很高，同时运维成本也很高。

SD-WAN解决方案提供了简便的运维方式。网络控制器可以提供全网监控功能，实时获取站点和链路的状态信息，实现全网状态的可视化展示。同时，网络控制器通过分析网络运行状态的数据，主动识别可能发生的故障点，并及时通知网络管理员，帮助其快速定位并解决网络故障。SD-WAN解决方案通过这些自动化、智能化的运维功能降低了管理成本，提高了运维效率。

8.1 运维方式的变革

随着企业业务的多元化、全球化和云化，企业对网络的依赖度越来越高，站点的数量也不断增加，传统的网络运维方式已无法满足现代企业的诉求，一场运维方式的变革已经到来。

通常对于整个网络的运维，网络管理员主要关心如下4个运维痛点。

·管理权限不受控，多人管理易出错。运维平台缺少权限控制，多人管理存在误操作的隐患，且影响整网业务的运行。

·网络状态不透明，无法预知潜在威胁。网络管理员无法实时感知传统网络的状态，需24小时待命。他们迫切需要简单、高效的主动运维手段，化解当前的尴尬局面。

·网络结构太复杂，故障定位难度大。Underlay与Overlay网络故障的快速定位和业务故障的快速定位是当前网络管理员遇到的两大难题。如何快速定位故障并解决问题，以免影响企业业务的正常运行，是网络管理员非常关心的问题。

·设备迁移难度大，业务难以平滑切换。传统设备的迁移难度较高，对现网的业务会造成一定的冲击，通常需要在深夜业务流量小的时间段进行迁移，从而降低对现网业务的影响。

运维是SD-WAN解决方案中非常关键的一环，方案中提供了完整的运维解决方案，让智能运维成为可能。

SD-WAN解决方案基于全新的运维架构面向用户提供了4个层面的运维功能。

·基于角色的权限控制功能。针对不同的客户，分别提供不同的运维方式，保证权限控制最小化。可以根据不同的岗位角色设置不同的访问权限，实现分权分域管理。

·多维度可视化的监控功能。通过网络控制器提供的网络与业务的历史趋势、健康度TOP排名等可视化数据，及时呈现租户网络的实时状态。

·提供丰富的故障诊断功能。通过网络控制器集成的故障定位工具，能快速定位复杂问题，降低了运维人员的技能门槛，同时让运维变得更加高效。

·传统网络向SD-WAN迁移的功能。针对传统网络，SD-WAN解决方案可以实现与传统站点设备的互联，也可以通过将传统站点改造成SD-WAN站点，实现传统网络向SD-WAN的迁移。

8.2 运维架构

企业网络的运维方式包括主动运维和被动运维两种。

主动运维是指采取积极的监控管理手段，预先发现可能出现的故障，提前消除隐患。例如，通过监控网络中设备的告警、日志，以及监控站点间的链路质量等，主动识别故障隐患，提前排障。

被动运维是指网络发生故障后，采取故障定位手段，并针对故障采取相应的补救措施。例如，通过网络质量诊断工具进行故障定位，通过SSH远程登录设备，并进行设备升级或补丁安装等操作。

下面将通过运维总体架构进一步阐述SD-WAN解决方案所具备的运维功能，如图8-1所示。

（1）角色管理

SD-WAN解决方案支持创建系统管理员、MSP管理员及租户管理员3种管理员角色。通过网络控制器，分别提供面向这3种管理员角色的运维管理Portal界面，完成相应的运维管理操作。

（2）监控

告警监控：由网络控制器提供接收、存储、集中监控、实时告警和历史告警查询的功能，帮助网络管理员根据告警信息快速定位故障，CPE可将告警信息上报给网络控制器。

图8-1 运维总体架构

链路/设备/站点/拓扑/应用监控：CPE通过NetStream等技术采集原始数据，并将采集到的原始数据上报给网络控制器。网络控制器将这些数据进行分类，按照不同的维度呈现给管理员，可实现对网络拓扑、站点、设备、链路、应用的流量或质量的监控。

日志管理：日志包括CPE日志和网络控制器日志。网络管理员通过网络控制器部署CPE日志策略后，CPE将日志上报给第三方日志服务器，日志服务器可对CPE日志进行采集、存储、分析并输出报表。网络控制器日志由网络控制器自身存储和分析。

（3）故障定位

网络管理员通过告警和监控功能发现网络出现异常后，运用网络控制器提供的故障诊断功能进行故障定位和问题分析。随后，网络控制器会把诊断处理信息通知给CPE，由CPE执行故障诊断。SD-WAN支持管理员进行故障诊断的方式包括：链路/应用质量诊断、设备诊断信息采集和SSH远程登录设备。完成故障诊断和定位后，可通过网络控制器对设备进行替换或升级补丁的操作。

（4）迁移

传统网络站点若要借助SD-WAN实现“华丽转身”，则需将这些旧站点改造成为具备SD-WAN属性的新站点，让这些传统站点也能够在SD-WAN解决方案中发挥新的作用。旧站点的迁移包括：总部与数据中心站点的迁移和分支站点的迁移。

SD-WAN解决方案提供的运维组件间接口包括以下5种。

·NETCONF：网络控制器通过NETCONF接口对设备下发业务配置；设备通过NETCONF Notification向网络控制器上报设备告警；网络控制器通过NETCONF RPC消息对设备进行远程维护操作。

·Telemetry：设备通过Telemetry技术将性能采集数据周期性上报至网络控制器，并为网络控制器的性能监控、历史数据趋势分析提供高精度的数据源。设备与网络控制器之间通过HTTP2.0进行连接，并通过Protobuf对上报的数据进行编码。

·Syslog：设备的日志信息可通过Syslog协议上报至第三方日志服务器。

·HTTPS文件传输：设备与网络控制器之间通过HTTPS进行文件的下载管理，如软件包或补丁包文件。

·SSH：网络管理员可通过网络控制器提供的SSH方式登录设备，并进行远程运维诊断。该方式基于SSH端口转发技术，可以穿越NAT设备访问CPE。

8.3 运维权限控制

8.3.1 运维模式与管理角色

针对不同的业务场景，SD-WAN解决方案提供了两种运维模式，分别是企业运维模式和运营商/MSP运维模式。

企业运维模式主要适用于大型企业自建SD-WAN业务的场景，此场景下由企业自行维护网络。

运营商/MSP运维模式主要适用于由MSP向中小型企业提供SD-WAN管理服务的场景，此场景下企业租户可授权MSP并由MSP代维租户网络，也可自行维护网络。此外，云服务场景下也采用此运维模式。

在不同的运维模式下，SD-WAN解决方案根据用户自身所处的层级分配相应的管理权限，支持不同的管理员角色（系统管理员、MSP管理员和租户管理员），且不同的管理员角色通过相应的Portal界面对网络进行运维管理。

运维模式与管理员角色的关系如表8-1所示。

表8-1 运维模式与管理员角色的关系

运维模式与可视化运维界面的关系如表8-2所示。

表8-2 运维模式与可视化运维界面的关系

网络管理员作为运维的执行者，其最基本的职责在于保障网络7×24 h不间断地为客户服务。面对复杂且庞大的运营网络，需要对整个网络进行分权分域管理，针对不同区域或层次的网络指定不同的网络管理员，并赋予其不同的管理权限，从而更好地保障整个网络的正常运行。

下面介绍不同类别的管理员角色及其相应的管理权限。

（1）系统管理员

系统管理员具有最高权限，负责网络控制器的管理和维护，包括管理子层级的管理员账号，如MSP管理员账号或租户管理员账号。

（2） MSP管理员

MSP管理员具备管理租户网络的权限，协助租户进行网络管理。当租户向MSP订购SD-WAN服务时，MSP管理员负责管理租户管理员账号。租户若不具备运维能力，可将租户网络委托给MSP进行代维，此时MSP管理员可管理租户网络。

（3）租户管理员

租户管理员负责租户自有网络的管理和维护，可以管理本租户的账号、设备、终端用户信息和网络业务。

管理员层级关系如图8-2所示，系统管理员可以创建多个MSP管理员或多个租户管理员；MSP管理员可以创建多个租户管理员；租户管理员管理一个或多个站点。

图8-2 管理员层级关系

8.3.2 角色决定权限

在SD-WAN解决方案中，可以为系统管理员、MSP管理员和租户管理员指定不同的管理权限，从而保证权限的最小化，方便企业网络的运维管理。通常情况下，各类管理员的管理权限如表8-3所示。

表8-3 管理员的管理权限

续表

此外，各类管理员可指定多个管理员账号，并为每个管理员账号分配不同的角色，通过角色实现权限控制。通常可划分的角色类型如表8-4所示。

表8-4 角色类型

下面通过一个例子来介绍管理员角色类型的用法。首先，为某租户创建一个租户管理员账号admin，此时租户管理员可通过admin账号创建多个租户管理员子账号，如租户管理员A和租户管理员B。然后，通过admin账号将租户管理员A设定为监控角色，将租户管理员B设定为配置角色，即租户管理员A和租户管理员B在租户网络中具备不同的管理能力。

8.4 全网监控能力

近年来，企业分支数量激增、应用类型愈加复杂、带宽要求越来越高，导致网络故障定位难，运维成本居高不下。SD-WAN解决方案支持全网状态可视化，提供基于站点、链路、应用等维度的统计视图，帮助网络管理员快速定位故障；通过链路或应用的质量和流量的变化趋势，预测网络未来的使用情况并实现主动运维。

8.4.1 Dashboard视图

SD-WAN解决方案提供多维度的监控功能，并以图形化的方式显示重要指标数据，方便网络管理员快速获知全局信息。

通过Dashboard视图的方式集中呈现网络运行业务的重要信息，例如告警信息、站点健康度、应用流量排行等，有助于运维人员了解业务的整体状态、快速发现问题，为后续的快速排障提供有力的支撑。

为有效地展现全网状态，通常Dashboard视图中会包含如下关键信息。

·告警信息：通过监控网络业务的告警信息，及时通知网络管理员消除网络中的故障，确保业务正常运行。如图8-3所示，SD-WAN支持4种告警信息，不同的颜色（图中为不同灰度）代表不同的紧急程度。

图8-3 告警信息

·站点健康度：通过监控网络中所有站点的健康度数据，识别健康度比较差的站点，并及时通知网络管理员分析健康度差的站点的业务运行情况，确保各站点业务状态正常，如图8-4所示。健康度分数可配合不同的颜色表示站点的健康状态，例如绿色（图中①）表示站点处于健康状态，红色（图中②）表示站点处于健康度较差的状态。

·应用流量排行：通过展示流量最多的TOP应用，便于网络管理员根据TOP应用的流量使用情况进行相应的策略调整，如图8-5所示。例如，当发现Skype应用流量超过预期，可通过配置流量策略及时调整分配给Skype应用的带宽值。

图8-4 站点健康度

图8-5 应用流量排行

8.4.2 全网监控

SD-WAN解决方案提供多维度的监控功能，包括告警监控、Overlay网络拓扑监控、站点监控、站点间监控等，监控对象包括网元设备、站点、站点间链路、业务应用的状态信息等，为网络管理员及时发现问题、排除故障提供有力的支撑。

1.告警监控

告警作为系统故障最直接的反映，具有及时、精准、直观等特点，并且提供排障操作步骤的详细指导，有助于运维人员根据告警信息快速定位故障。

当SD-WAN解决方案中的设备、业务存在故障及潜在隐患时，各网元设备会产生告警信息，并将告警信息上报给网络控制器，由网络控制器呈现给网络管理员。网络管理员可以通过告警管理功能实时了解告警信息，并通过告警信息的详情和处理建议及时排障，保障业务的正常运行。

SD-WAN解决方案中CPE向网络控制器上报告警的流程如图8-6所示。

图8-6 上报设备告警的流程

步骤① 网络控制器通知设备开启告警上报功能。

步骤② CPE产生告警，通过NETCONF上报给网络控制器。

步骤③ 网络控制器对上报的告警进行有效性判断。如果是有效告警，则录入数据库，并通过电子邮件、短信等形式通知网络管理员。

网络管理员根据收到的告警信息，查询解决方案提供商发布的告警恢复操作指导文档，并进行排障。CPE上报的告警类型包括：设备类告警，例如设备重启、用户登录登出等；网络类告警，例如接口的链路状态变为Down、OSPF的接口状态变为Down等；业务策略类告警，例如语音业务的链路状态发生改变等。

2.Overlay网络拓扑监控

网络管理员通过拓扑监控可以直观地查看Overlay网络状态，快速地发现状态异常的站点和站点间的链路，并及时处理故障，使业务恢复正常。

Overlay网络拓扑监控主要呈现站点状态和站点间链路状态信息。站点状态包括正常、异常和离线，对于状态异常或离线的站点，网络管理员可及时处理。站点间的链路状态包括正常（绿色）、质量差（黄色）、故障（红色），网络管理员可以基于颜色的筛选，重点关注有问题的链路。

3.站点监控

对于传统网络的运维，一般是在站点出现故障后，网络管理员才会介入并定位故障原因。即便是网络管理员主动巡检站点，巨大的工作量也无法让巡检工作覆盖成千上万的分支站点。

SD-WAN解决方案通过网络控制器界面直观展示所有站点的健康度分数，对健康度较差的站点进行排序，有效地协助网络管理员进行主动运维，如图8-7所示。

图8-7 健康度Worst 5站点

当发现部分站点健康度较差时，网络管理员通过查询站点中的链路质量、上下行链路的带宽、站点拓扑的链路状态、设备ESN及设备型号和设备硬件运行状态等数据，可快速定位故障。

站点链路质量与上下行链路的带宽：通过分析与站点相连的链路质量情况和上下行链路的带宽情况，评估出该站点的健康度，如图8-8所示。

图8-8 站点链路质量与上下行链路的带宽

站点拓扑的链路状态、设备ESN及设备型号：通过拓扑的链路状态查看网络故障节点的位置；若某台设备发生故障，也可通过站点拓扑图查看该设备的详细信息，便于后期排障，如图8-9所示。

图8-9 站点拓扑的链路状态、设备ESN及设备型号

设备硬件运行状态：当确定了发生故障的站点设备后，可通过查看站点信息，了解该站点设备的硬件状态，便于进一步定位故障，如图8-10所示。

4.站点间监控

网络管理员可通过站点间监控，查看站点间的链路质量、互访流量、业务应用质量等数据，直观地查看站点间链路和业务的工作状态。

质量Worst 5的站点间链路：通过分析租户网络中质量Worst 5的站点间链路，指引网络管理员及时发现业务质量最受影响的区域并及时排障，如图8-11所示。

站点间互访流量Top 5的链路：通过分析并展示互访流量Top 5的站点间链路状态，便于网络管理员在发生网络拥塞等故障时，能够迅速定位故障发生的区域并及时排障，如图8-12所示。

图8-10 站点信息

图8-11 质量Worst 5站点间链路

图8-12 站点间互访流量Top 5的链路

8.4.3 质量预测

针对传统企业的WAN，网络管理员只有在网络发生故障后才能去组织排障，疲于应付且总被客户埋怨网络质量太差。SD-WAN解决方案提出了“趋势预测、主动运维”的理念，在前期主动发现网络问题，并及时提醒网络管理员进行主动运维，防止网络出现故障。

网络不稳定通常是因为出现了严重的延迟和丢包的现象，而SD-WAN解决方案可以提供基于链路和基于应用的网络质量预测功能，从而有效地防止该类现象的发生。

1.基于链路的网络质量预测

通过分析链路吞吐量的变化趋势和链路质量的变化趋势，识别质量较差的站点间链路。如果发现某条链路质量较差，可通过基于链路质量的选路功能，让流量走另一条质量较高的链路；如果发现MPLS网络和因特网带宽不均衡，可通过基于带宽的选路功能，让流量走带宽更大的链路。

链路质量趋势、吞吐量趋势：通过网络控制器可实时查看不同时间区间的链路质量和吞吐量趋势，准确掌握网络链路质量，如图8-13所示。

链路带宽趋势：通过网络控制器可实时查看传输网（如MPLS网络和因特网）的带宽变化趋势，如图8-14所示。

图8-13 链路质量趋势、吞吐量趋势

图8-14 链路带宽趋势

2.基于应用的网络质量预测

应用通常是网络业务的重要载体，如视频应用、聊天应用、游戏应用等。要想实现对应用的质量监控，首先需要能够在网络中识别应用类型，通过对网络中的应用进行精准识别，为智能选路、QoS、应用优化和安全服务等网络业务提供有力的支撑。

SD-WAN解决方案具备识别应用的能力，并提供对各类应用质量进行监控的功能。网络管理员可以通过监控应用质量的趋势、应用使用流量的趋势和应用接入客户数量的趋势，及时调整不合理的应用策略。

应用质量分布：提供应用质量的得分评估情况，协助网络管理员了解网络中应用的总体质量状态，如图8-15所示。

质量Worst 5应用：如果网络管理员发现客户重点关注的应用质量较差，可调整此链路上其他应用的带宽或者对此应用的选路策略进行调整，如图8-16所示。

图8-15 应用质量分布

图8-16 质量Worst 5应用

Top 5应用流量排行和流量趋势：对于流量使用超出预期的应用，网络管理员可及时进行相应的QoS策略调整。通过监控应用的趋势，预测未来流量可能超出当前设置的最大流量阈值的关键应用，及时调整QoS策略，如图8-17所示。

图8-17 Top 5应用流量排行和流量趋势

8.5 故障定位助手

故障定位、设备日常维护和日志管理，俗称日常维护“三板斧”。在不久的将来，智能运维会成为主角，成为网络管理员高效、可靠的助手，使更多的日常工作自动完成。

8.5.1 诊断工具

通常网络管理员要有丰富的运维经验才能找到故障的位置。在SD-WAN解决方案中，网络管理员可在出现故障时，通过网络控制器提供的故障诊断工具自动判断应用、设备或网络在哪里出了问题，极大地降低了运维的难度。

1.应用质量诊断

在SD-WAN解决方案中，CPE通过NetStream等技术采集原始数据，并将采集到的原始数据上报给网络控制器。通过AQM的指标来分析短板，并制定合理的应对措施。

2.网络诊断

（1）诊断网络的连通性

无论是Underlay网络还是Overlay网络，都可以通过Ping操作检测连通性。这里以Overlay网络为例介绍如何诊断网络的连通性。

在网络控制器上选择源站点和执行Ping操作的设备，即通过网络控制器下发Ping指令到指定的CPE。然后观察丢包率和平均时延，判断Overlay网络是否出现问题。如图8-18所示，丢包率为0，表示Overlay网络与目的CPE之间连通正常。

（2）诊断网络的故障节点

无论是Underlay网络还是Overlay网络，都可以通过TraceRoute方式排查出网络在哪个节点出了问题。通过网络控制器下发TraceRoute指令到指定的CPE，然后观察设备到目的IP地址的路由，查出网络的故障节点。

此外，网络控制器基于TraceRoute技术可实现网络路径的可视化呈现。网络管理员通过网络控制器可轻松地查看某台设备到目的IP之间所经过的所有站点及设备，可查看对应站点、设备及接口的相关信息，提升故障定位的效率，如图8-19所示。

图8-18 Overlay网络连通性

图8-19 路径可视化

3.设备诊断

设备诊断的方式比较灵活，为网络管理员提供了本地诊断和远程诊断两种方式。

（1）本地诊断

网络管理员通过网络控制器的采集诊断信息功能，一键获取设备上的诊断信息文件，然后将文件保存到本地进行故障分析，采集流程如图8-20所示。

步骤① 管理员通过网络控制器对CPE下发采集诊断信息的指令。

步骤② CPE收到指令后，开始信息采集，并压缩采集的数据。

步骤③ CPE通过HTTPS上传采集的数据文件，上传完毕后将删除该文件。

图8-20 采集流程

（2）远程诊断

在网络控制器上通过SSH方式远程登录到CPE上，管理员在CPE上操作CLI来进行故障诊断。

在CPE上可以操作的CLI，主要是诊断和查看命令，用于定位设备业务故障。常见的命令包括：Display（用于查询设备常见信息）、Debugging（用于实时查询设备状态）和Diagnose（用于查询设备诊断信息）。

8.5.2 设备维护

设备升级、更换是日常维护中较为频繁但容易出错的工作。下面将介绍在SD-WAN解决方案中是如何做到不出错且高效完成日常维护工作的方法。

1.设备升级、降级

对设备升级和降级的操作类似，如果要操作的版本高于设备当前的版本，则是升级；如果要操作的版本低于设备当前的版本，则是降级。下面以设备升级为例，介绍具体的操作流程。

（1）制定升级策略

升级工作对当前业务是有影响的，因此必须“三思而后行”。SD-WAN解决方案提供了较人性化的升级策略，可供管理员根据实际情况进行提前规划。

·管理员可以设置升级文件的下载时间，对设备立即升级或在指定时间内升级。

·管理员可以规划重启时间，立即重启设备或在指定时间内重启设备。

·管理员可以选择升级模式，按设备类型或设备名称，实现设备的批量升级。

（2）上传升级文件

升级文件，俗称软件大包。SD-WAN解决方案提供两种升级文件的上传方式，供管理员灵活应用。

·通过文件上传工具（如FTP工具）上传。网络控制器内置文件服务器，可以将升级文件上传到网络控制器上，再由网络控制器下发到设备。

·通过第三方文件服务器上传。先配置网络控制器与第三方文件服务器对接，然后将升级文件通过第三方文件服务器上传到网络控制器，由网络控制器下发到设备。

（3）升级并检查升级状态

在升级过程中，管理员不能进行暂停操作。升级成功后，相关配置不会丢失。如果升级失败，可以查看失败原因，待问题解决后，再重新进行升级。

2.设备替换

设备发生故障、老化或升级换代时，需要进行设备的替换。SD-WAN解决方案的替换流程与传统方式不尽相同，站点开局人员只需一次进站就能完成设备替换工作，不需要网络管理员再到现场进行操作。

（1）添加新设备。新设备成功添加到网络控制器上。

（2）新设备同步旧设备信息。在网络控制器上进行设备替换操作，新设备同步旧设备所属的站点、位置和配置信息。

（3）替换旧设备。站点开局人员携带新设备到现场进行设备开局、设备硬件替换。设备注册到网络控制器后，旧设备的信息将由网络控制器自动下发到新设备上，保证了业务的正常运行。

8.5.3 日志管理

在SD-WAN解决方案中，管理员不仅可以在网络控制器上查询和管理日志，还可以通过第三方日志服务器查询和管理日志，极大地方便了日常维护工作。使用第三方日志服务器管理日志的流程如图8-21所示。

图8-21 使用第三方日志服务器管理日志的流程

步骤① 网络控制器与日志服务器对接。两侧的配置信息要一致，包括日志服务器的IP地址、端口号、日志保存路径、服务器证书、上报方式。

步骤② CPE将日志上报给日志服务器。常见的传输方式有TLS方式和UDP方式。推荐使用具有加密功能的TLS方式。

步骤③ 网络控制器通过日志服务器呈现CPE上报的日志信息。在网络控制器上，网络管理员还可以对设备日志进行过滤查询，例如可根据时间、租户标识、设备标识等查询日志。

8.5.4 智能排障

智能运维的终极目标是接替网络管理员所有的运维工作，网络管理员无须感知问题，对问题的分析可全部自动完成，故障可自修复。

（1）自动分析。借助大数据分析能力，自动定位故障。从大量源数据中快速分析根因，并向网络管理员提供修复意见。

（2）自恢复。网络管理员根据常见问题的修复经验自定义执行策略，达到网络自恢复的效果。

下面以一个具体示例来介绍未来的SD-WAN解决方案主动感知、识别音视频质量，自动定位故障和自恢复的过程。

某企业内部经常需要开视频会议，传统网络常常因网络拥塞导致视频业务的链路质量较差，视频会议会出现图像马赛克或语音延迟的问题。通过部署SD-WAN解决方案可有效地解决此问题。首先，站点CPE能够感知终端的音视频流，并周期性地上报音视频流的质量数据。其次，网络控制器分析音视频的质量，识别出质量差的音视频流。最后，网络控制器获取音视频流的完整路径，并感知链路的质量。

SD-WAN解决方案识别出音视频流的路径出现故障后会做出以下两个动作。

·动态调整智能选路策略，且选路后的效果可视，便于管理员进行跟踪。

·分析路径出现故障的根因，反馈优化建议，保证原链路尽快恢复。

8.6 传统网络向SD-WAN迁移

除了新建的SD-WAN组网，还有很多传统网络需改造成SD-WAN组网。这些传统站点的迁移面临各种问题，需要借助SD-WAN来实现“华丽转身”。

从传统站点迁移到SD-WAN站点的过程如图8-22所示，在规划完SDWAN业务之后，需制定迁移方案及迁移计划，确定迁移步骤，并按照迁移计划逐步进行站点的迁移。

将传统站点改造成SD-WAN站点，通常包括总部与数据中心站点的改造和分支站点的改造两大部分，改造方案如图8-23所示。

图8-22 迁移到SD-WAN站点的过程

图8-23 传统站点改造成SD-WAN站点的方案

针对总部和数据中心站点的改造通常采用逐步迁移，即无损升级的方式。需要在总部/数据中心站点新增一台或者两台SD-WAN CPE（推荐采用两台CPE，可保证设备级的可靠性）旁挂在旧CE旁边，新增或者利用已有的因特网链路，将业务逐步地迁移至新的SD-WAN CPE。

针对分支站点的改造若采用无损升级的方式，可新增SD-WAN CPE旁挂在旧CE旁，逐步将业务迁移至新的SD-WAN CPE；若采用有损升级的方式，可直接将旧设备替换为新的SD-WAN CPE或者将旧设备升级到支持SD-WAN的版本。

8.6.1 总部与数据中心站点迁移

总部与数据中心站点的迁移方案分为两种，如表8-5所示。

表8-5 总部与数据中心站点的迁移方案

1.新增单台SD-WAN CPE旁挂迁移方案

总部/数据中心站点单台SD-WAN CPE旁挂迁移方案是在企业对组网可靠性要求不高时可以采用的方案，如图8-24所示。

图8-24 总部/数据中心站点新增单台SD-WAN CPE旁挂迁移方案

图中，左侧为传统组网模式，站点间通过MPLS链路（或已有因特网链路）互联。右侧为SD-WAN组网模式。

·新增SD-WAN CPE旁挂在旧CE上。

·新增一条因特网链路，增加其带宽，并将其作为承载FTP/电子邮件等非关键应用流量的主链路。

·原有MPLS专线作为承载语音/视频会议等高优先级应用的主链路。

·使用新增的SD-WAN CPE承载SD-WAN业务流量，原有旧CE承载旧站点的业务流量（可作为其他SD-WAN站点访问传统站点的集中访问网关）。

2.新增两台SD-WAN CPE旁挂迁移方案

新增两台SD-WAN CPE旁挂迁移方案的高可靠性组网是针对大多数企业总部或数据中心站点的推荐迁移方案，如图8-25所示。

图8-25 总部/数据中心站点新增两台SD-WAN CPE旁挂迁移方案

图中，左侧为传统组网模式，站点间通过MPLS链路（或已有因特网链路）互联；右侧为SD-WAN组网模式。

·新增SD-WAN CPE旁挂在旧CE上。

·新增一条因特网链路，增加其带宽，并将其作为承载FTP/电子邮件等非关键应用流量的主链路。

·原有MPLS专线作为承载语音/视频会议等高优先级应用的主链路。

·使用新增的SD-WAN CPE承载SD-WAN业务流量，原有旧CE承载旧站点的业务流量（可作为其他SD-WAN站点访问传统站点的集中网关）。

8.6.2 分支站点迁移

分支站点迁移的方案分为两种，如表8-6所示。

表8-6 分支站点的迁移方案

1.直接替换或者升级旧CE方案

分支站点通过直接替换或者升级旧CE的迁移方案，适用于企业对可靠性要求不高或者企业的分支站点较少的情况，如图8-26所示。

图8-26 分支站点迁移场景之设备替换/升级组网

图中，左侧为传统组网模式，分支站点通过MPLS链路（或已有因特网链路）联网；右侧为SD-WAN组网模式。

·新增一条因特网链路，增加其带宽，并将其作为承载FTP/电子邮件等非关键应用流量的主链路。

·原有MPLS专线作为承载语音/视频会议等高优先级应用的主链路。

·分支站点与传统站点之间可通过总部或数据中心站点集中互访或者直接互访。

·通过智能选路动态选择可用的链路传输指定应用的流量。

2.新增SD-WAN CPE旁挂迁移方案

分支站点新增SD-WAN CPE并旁挂在旧CE上，将部分业务迁移至SDWAN。通常企业在替换SD-WAN时对可靠性要求较高，不希望中断优先级较高的业务，此时可以将一部分优先级较低的业务先切换到SD-WAN中，如图8-27所示。

图8-27 分支站点迁移场景之设备旁挂组网

图中，左侧为传统组网模式，站点间通过MPLS链路（或已有因特网链路）互联；右侧为SD-WAN组网模式。

·新增一条因特网链路，增加其带宽，并让其承载FTP/电子邮件等非关键应用流量。

·MPLS专线承载语音/视频等关键业务流量。

·分支使用新增的SD-WAN设备承载SD-WAN流量。

·旧的CPE承载关键业务流量（仍然通过Underlay网络）。

·分支站点与传统站点之间可通过总部或数据中心站点集中互访或者直接互访。

·新的SD-WAN CPE通过智能选路，动态选择可用的链路来传输指定应用的流量。

第9章 SD-WAN成熟实践

“纸上得来终觉浅，绝知此事要躬行。”本章将从实践的角度出发，列举多个典型的SD-WAN行业的成熟案例，分析各行业的业务特点以及对SD-WAN的核心诉求，然后介绍SD-WAN详细的设计和部署方案，从而帮助大家加深对SD-WAN解决方案的原理和行业价值的理解。

9.1 SD-WAN应用场景

如前文所述，SD-WAN当前主要具有两大商业模式：企业自建和运营商/ MSP转售。从用户角度来看，无论是哪种商业模式，都包含了多个应用场景，如图9-1所示。

图9-1 SD-WAN解决方案的应用场景

对于SD-WAN解决方案提供商来说，需要根据具体的商业模式以及客户的特点，提供差异化的SD-WAN解决方案。

1.企业自建

企业自建是指SD-WAN解决方案提供商面向客户的直销模式。典型的应用涉及金融、零售、制造、交通、医疗、电力、石油和天然气、公共安全、教育等领域。这些场景千差万别，但是对于SD-WAN的核心诉求很大程度上又是一致的，通常包括统一的可视化运维模式，提升运维效率；部署混合 WAN，降低专线成本；部署智能选路，提升业务体验等，其他相关的关键特性诉求还包括ZTP、本地上网、多VPN、广域优化、安全特性、连接公有云、访问SaaS云应用等。

2.运营商/MSP转售

运营商/MSP转售是对SD-WAN解决方案进行运营的模式。该模式是将SD-WAN解决方案作为一种新型的服务提供给客户，因此这种运营模式同样存在企业自建模式下的客户诉求。除此之外，运营商/MSP转售模式需要具备更多的SD-WAN可运营特性，通常包括多租户管理、多租户IWG、云GW、POP组网、网络控制器北向API开放等。

9.2 SD-WAN典型案例

下面分别对企业自建和运营商/MSP转售模式展开介绍，其中企业自建场景中选取金融和大企业两个典型案例。

9.2.1 金融行业案例

金融行业包含了银行、保险、证券等细分子行业，是国家经济的重要支撑。随着社交媒体以及移动技术的发展，互联网金融业务在快速发展，金融行业的传统业务模式正在发生变革。

（1）营业网点业务转型

除了传统的交易类业务，泛金融业务也正在快速地增长，如智能化及自助化的远程视频设备可用于金融行业的宣传和培训，提升客户体验，降低网点人员成本。移动网点因此打破了位置限制，实现了金融业务的广覆盖。传统的交易类业务数据流量较小，而现在新增的非交易类的视频类、语音类、社交类业务数据流量较大。

（2）业务和网络的扁平化

金融行业普遍采用分层网络结构，网点到总行的业务路径需要经过二级分行汇聚，进一步增加了时延，影响了SLA等级，流量在二级分行的汇聚逐渐成为三级分行和网点的瓶颈，进而影响二级以下分行业务的稳定性。然而，通过扩容二级分行汇聚设备来改善当前困境，存在扩容费用和IT建设费用高的问题。随着生产业务的扁平化，二/三级分行同步扁平化到普通网点层级，实行扁平化管理，则避免了前述问题，提升了经营层次，减少了管理成本，提高了经营效率。

（3） 5G智能网点

随着5G时代的到来，金融行业也在探索新的业务模式，催生出无人值守智能网点。5G网络的大带宽和低时延特性使得通过远程视频坐席办理成为可能，也实现了高清视频监控的实时回传和安防监控的实时处理。此外，5G网络也助力承载物联网，构建万物互联，实现自动化、智能化地控制智能网点的终端设备（如智能门/窗帘/灯/新风系统等），真正做到无人值守。

（4）业务云化

互联网金融的崛起加速了金融科技化的进程，同时，针对企业交易的场景化金融服务也依赖金融科技的进步。在互联网金融和场景化金融加速发展的趋势下，金融行业加速云化发展，网点及第三方便捷接入金融行业云成为金融机构接入网的发展方向。

本节以全国性商业银行J银行为例，给出了SD-WAN的场景分析和方案设计。

1.场景分析

J银行作为全国性商业银行，其分支机构遍布全国。在银行业务大发展的背景下，J银行传统的WAN网络架构已经无法适应业务发展的需要，面临一系列新的挑战，具体如下。

（1）专线价格昂贵，运营成本增加

J银行的应用部署在总行的数据中心，通过租用运营商专线可将银行分支网点连接到数据中心。为了提高大型分支网点接入的可靠性，通常租用两条不同的运营商专线。随着泛金融类业务的增加，需要更大的WAN线路带宽保证J银行分支网点的业务稳定性，例如人脸识别业务、视频会议等都需要大带宽的支持。J银行分支网点的专线运营成本不断攀升。

（2）专线业务开通周期长，业务灵活性差，无法支持网点的快速开通

传统专线网络可获取性较差，光纤/电缆需要单独部署，耗费的周期长。专线跨越多个网络/运营商时，将使业务的开通周期更长，导致业务不能灵活订购。互联网时代，J银行为了争取更多的客户，计划开通临时网点办理银行业务，但专线业务无法满足J银行的业务诉求。

（3）网络设备功能单一，业务扩展性差

J银行的网络设备大量使用单一功能的硬件，若需扩展新的功能，通常需要增加新设备，且部署周期长。

（4）无法适应云业务的发展

目前业界的IT基础设施和软件已经开始向云端迁移，要求网络功能软件化、网络能够随着业务自动调整。J银行的网络以硬件设备为中心，已经无法适应云业务的发展。

（5）网络管理和运维效率低

J银行的分支网点多达数百个，遍布全国各地，缺少统一的集中运维手段，需要大量的本地网络运维人员。随着云计算和移动互联网的快速发展，J银行内部的应用和数据流量的分布已经发生变化，传统网络的问题变得越来越不可预测且更加复杂。传统的采用命令行进行网络配置的方式效率低，故障定位时间长。

2.方案设计

J银行的SD-WAN解决方案的设计目标是开放、智能和分层，方案的主要特点如下。

·扁平化改造省内网点，提升业务体验和网络可靠性。

·通过互联网链路替代省[1]外1分行到总行数据中心的跨省MSTP专线，降低银行WAN线路和站点的运营成本。

·集中管理海量分支，基于网络控制器的统一可视化运维、策略下发、故障诊断等功能，帮助简化运维。

J银行的SD-WAN解决方案架构如图9-2所示。

（1）总体规划

J银行在总行数据中心内部署SD-WAN网络控制器，同时对同城异地的两个数据中心（以下简称Hub站点）、全国各地多个分行（以下简称汇聚站点）和全国各地多个支行（以下简称Spoke站点）进行网络改造。

·在总行数据中心部署SD-WAN网络控制器，用于对所有SD-WAN站点进行管理和业务编排。网络控制器南向IP地址采用双地址模式，SD-WAN站点可以在开局时选择通过MPLS链路或因特网链路向网络控制器注册。

·对总行数据中心所在省份内的支行现网进行扁平化改造。总行主备数据中心分别部署Hub站点（每个站点部署2台CPE），省内支行部署Spoke站点（每个站点部署1～2台CPE）。

图9-2 J银行SD-WAN解决方案架构

·对总行数据中心所在省份之外的分行/支行采用分层组网，分行引入因特网链路替代跨省专线。省外分行部署汇聚站点（部署2台CPE）；省外支行部署Spoke站点（每个站点部署1～2台CPE）。

·Overlay网络共规划两个路由域以及对应的传输网，分别对应Underlay网络的MPLS VPN和因特网。

·首先部署SD-WAN网络控制器，其次部署总行数据中心Hub站点，再次部署省外分行汇聚站点，最后部署支行Spoke站点。

（2）站点设计

省内站点

总行主备数据中心部署双Hub站点，采用站点双网关方式组网，采用旁挂现网路由器的方式部署CPE。LAN侧与WAN侧的路由设计如下。

·LAN侧接口与总行核心交换机建立OSPF邻居关系。

·WAN侧通过两个接口连接总行现网路由器，Underlay网络通过静态路由指向总行现网路由器，Overlay网络通过隧道与分行及支行建立BGP邻居关系。Hub站点的每个CPE都有两条WAN链路，一条连接MPLS VPN，另一条连接因特网，即站点双网关共4条WAN链路（双MPLS链路+双因特网链路）。

总行数据中心所在省份内的支行均部署Spoke站点，采用站点单网关或站点双网关组网。LAN侧与WAN侧的路由设计如下。

·LAN侧接口与支行交换机建立OSPF邻居关系。

·WAN侧接口连接支行现网路由器，Underlay网络层通过静态路由指向支行现网路由器，Overlay网络层通过隧道与总行建立BGP邻居关系。每个支行站点都有两条WAN链路，分别连接不同运营商的MPLS VPN。

省外站点

总行数据中心所在省份外的分行部署区域汇聚站点，采用站点双网关组网。LAN侧与WAN侧的路由设计如下。

·LAN侧接口与分行现网路由器建立OSPF邻居关系。

·WAN侧配置两个接口，其中一个接口连接分行出口防火墙，Underlay网络通过静态路由指向出口防火墙，Overlay网络通过隧道与总行Hub站点建立BGP邻居关系；另一个接口连接分行的现网路由器。每个省外分行站点的CPE都有两条WAN链路，一条连接到支行的MPLS VPN，另一条连接因特网，即站点双网关共4条WAN链路（双MPLS链路+双因特网链路）。

总行数据中心所在省份外的支行部署Spoke站点，采用站点单网关或站点双网关组网。LAN侧与WAN侧的路由设计如下。

·LAN侧接口与支行交换机建立OSPF邻居关系。

·WAN侧配置两个接口，均连接支行现网路由器，Underlay网络通过静态路由指向支行现网路由器，Overlay网络通过省外支行与分行建立BGP邻居关系。每个省外支行站点都有两条WAN链路，连接到分行的MPLS VPN。

（3）组网设计

控制平面

总行Hub站点为RR站点（RR与Hub站点合设，该站点也称为RR站点），省内站点均以总行Hub设备为RR站点建立控制通道。

省外分行汇聚站点也为RR站点，与本区域内所有省外支行站点建立控制通道，同时也与总行Hub站点以及其他省外分行站点建立基于Full-mesh拓扑的控制通道，使用BGP交互Overlay路由信息。

数据平面

总行数据中心所在省份内采用Hub-spoke拓扑组网。

·总体采用扁平化架构组网，不需要设计管理层级的汇聚站点，Hub站点与Spoke站点之间直接互联。省内站点以省内Hub站点作为区域Border站点。Hub站点与Spoke站点之间采用Hub-spoke拓扑组网，Hub站点与Spoke站点之间可直接通信，Spoke站点与Spoke站点之间的通信需要经过Hub站点。

·省内支行基于省内MPLS VPN与总部Hub站点建立Overlay隧道。总行数据中心所在省份外采用分层拓扑组网。

·总体采用总行（Hub站点）—分行（Border站点）—支行（Spoke站点）的架构，需要设计管理层级的汇聚站点。省外站点以分行站点作为区域Border站点，Border站点承载同区域内东西向及南北向的流量转发。区域内Spoke站点与区域外Hub站点之间通过Border站点互联。区域内支行间的业务互访通过Border站点中转。跨区域互访以Hub站点作为中转点，流量经过区域内Border站点到区域外Hub站点再转向其他站点。

·省外分行站点与总行Hub站点基于因特网链路建立Overlay隧道，省外支行站点与省外分行站点基于MPLS VPN链路建立Overlay隧道。

（4）业务设计

站点互访

SD-WAN站点间的Overlay隧道主要承载J银行的办公和生产业务。

·通过自定义应用策略，采用源/目的IP地址的首包识别方式识别J银行的生产和办公业务，并对业务进行应用质量的监控与统计。

·分行以及支行WAN侧出口为双WAN链路，通过对链路SLA质量的实时检测，使用智能选路功能将生产业务和办公业务分配到不同的WAN链路上，两条链路互为主备，基于丢包率/时延/抖动的阈值进行链路切换。

·对于语音/视频会议业务的流量，通过应用识别和基于应用的QoS策略保障语音/视频会议的体验。

因特网访问

作为金融企业的J银行对因特网访问有严格的安全要求，SD-WAN解决方案采用集中上网访问的方式保障业务安全。

·省内总行Hub站点是省内支行的集中上网点，上网流量经过Hub站点LAN侧出局访问因特网。

·省外分行是省外所在区域内支行的集中上网点，省外支行上网流量通过Overlay隧道到达分行站点，经过LAN侧出局访问因特网。

与传统MPLS网络互通

对于J银行的SD-WAN站点需要与传统站点互通的场景，采用集中互访的方式，以总行Hub站点作为互访流量的集中出口，在网络控制器上部署与传统站点集中互访的功能，并选择Hub站点作为互访站点。

（5）安全设计

J银行的网络对数据传输的安全性要求很高，可选择采用如下措施。

·通过防火墙间隧道提供安全保障：跨省防火墙之间建立IPSec隧道，保证私网流量可以穿越公网，同时保障数据传输的安全性。

·通过SD-WAN Overlay隧道提供安全保障：SD-WAN中所有Overlay隧道，包括省内支行到总部、省外支行到省外分行、省外分行到总部等站点间的MPLS链路和因特网链路统一采用GRE over IPSec隧道，保障数据传输的安全性。

（6）运维设计

网络控制器作为集中的管控和运维平台，实现了网络和业务的状态可视（全局Dashboard、告警实时监控、拓扑、站点/站点间/应用状态监控等）、可管控（站点级配置、批量下发业务策略、灵活定义多种运维角色等）、可维护（可视化故障定位手段、远程SSH登录、设备系统/补丁批量升级等）。

·设备开局：通过网络控制器配置站点的Underlay参数，网络管理员通过网络控制器指定开局邮件中的URL链接，完成开局信息配置，再将开局邮件发送至开局人员的邮箱。开局人员收到邮件后，通过浏览器访问邮件中的URL链接并启动开局流程，设备自动完成开局部署。

·设备业务配置下发：网络管理员在网络控制器上配置站点设备的VLAN、三层接口、应用识别策略、QoS、ACL和选路策略等，设备完成注册上线后，网络控制器将配置下发到站点设备。

·设备替换：当站点设备由于硬件故障等原因不能再继续使用时，需要维护人员使用新设备到现场替换故障设备，并对新设备重新进行邮件开局，新设备上线后，继续使用原有设备的业务配置。

9.2.2 大企业案例

随着数字化转型时代的到来，企业应用不断向云端迁移，如传统的办公业务和本地数据存储模式开始转向云化。与此同时，云计算成为很多新兴技术发展的底层技术和基础，如VR、AI、无人驾驶汽车、区块链等新技术的发展和应用都将与云计算密不可分，而这样的云化趋势同时也带来企业出口流量的激增。

Gartner发布的数据显示，30%～50%的大型企业的流量正转变为云流量。IDC预测，到2030年，80%的企业新应用将会部署在云端，企业WAN出口流量每3年翻一倍。而传统的企业专线价格昂贵、互联成本高，网络部署效率低、业务发放时间长，应用识别能力低、业务难管理。寻找新的ICT实现业务的转型、创新与增长，是大型企业在数字化转型时代的普遍需求。

本节以大型ICT科技企业H公司的WAN为例，介绍SDWAN的场景分析和方案设计。

1.场景分析

H公司在WAN的演进中面临着诸多挑战。

（1）企业站点数量多、分布广、难运维

企业网络的CAPEX（Capital Expenditure，资本支出）、OPEX（Operating Expense，运营支出）、维护成本以及IT支持的成本都随企业分支数量的增加而增加，网络中路由信息复杂、业务种类繁多，任何网络/业务的变更都需要逐个站点进行配置。

（2）难以合理利用多种WAN链路

企业难以监控和维护运营商提供的WAN，不同站点的WAN出口带宽、可靠性以及服务等级都不相同，相应的应用质量会随着传输网、区域和应用类型的改变而产生差异，难以实现多个WAN链路的合理利用，有时会出现带宽被抢占的情况。

（3）难以保障业务体验

在企业分支访问企业数据中心、企业分支访问公有云以及分支间互访的场景中，出于合规性、监管以及安全性的考虑，企业分支间的高带宽应用流量需要通过数据中心集中转发。数据中心集中访问公有云造成了带宽的浪费，增加了成本，本地分支通过因特网直接访问公有云又带来了安全性和可靠性的问题。此外，从企业分支/数据中心/公有云到企业分支的“最后一公里”的应用优先级难以得到控制。

（4）企业业务部门难以扩展

大型企业通常会有多个业务部门，各部门之间需要隔离，而现有的隔离机制导致大企业的业务部门难以扩展、配置复杂，难以保障不同部门的业务体验。

（5）难以维护企业跨国业务

不同地域的网络传输质量和可靠性存在差异，OPEX成本也不同，对于IT团队来说，维护遍布全球的企业网络是一个很大的挑战，需要考虑不同区域的法规来同时满足合规性和区域网络的全球互联需求。

2.方案设计

SD-WAN解决方案提供商为H公司设计的SD-WAN解决方案实现了因特网链路的合理利用，让网络感知业务、业务智能调度，打造高质量、低成本、可感知的全球互联WAN。该SD-WAN解决方案给H公司带来了以下3方面的改进。

·提升业务SLA。实现应用层面的性能监控，多路径智能化调度实现网络故障时链路的快速切换，降低应用的丢包率和时延，网络动态适配应用需求，提升业务SLA和用户体验。

·降低WAN成本。通过引入因特网链路，预设应用和路径的优先级，将流量调度到因特网线路上，同时支持关键应用的智能选路，降低企业使用WAN的成本。

·简化运维，提升运维效率。通过网络控制器对WAN进行集中控制和管理，实现可视化的监控管理和快速故障定位，使WAN的运维更简单。

H公司的SD-WAN解决方案架构如图9-3所示。

（1）总体规划

H公司在全球数据中心部署SD-WAN网络控制器，同时对全球数据中心、区域数据中心和代表处进行网络改造。

·在全球数据中心部署SD-WAN网络控制器，用于对所有SD-WAN设备进行管理及业务编排；网络控制器南向IP地址采用双地址模式，SDWAN站点开局时可以选择通过MPLS链路或因特网链路向网络控制器注册。

·在全球数据中心站点、区域数据中心站点以及代表处站点分别部署两台CPE，作为SD-WAN站点。

图9-3 H公司的SD-WAN解决方案架构

·Overlay网络规划出两个路由域，每个路由域中分配两个传输网，分别是不同运营商的专线网络（MPLS1、MPLS2）以及不同运营商的因特网（因特网1、因特网2）。

部署时，首先部署网络控制器；其次部署具有RR功能的数据中心站点；最后部署代表处站点。

（2）站点设计

数据中心站点

数据中心站点（包括全球数据中心和区域数据中心）是SD-WAN站点，同时也是RR站点。在该站点部署双CPE网关。LAN侧与WAN侧的路由设计如下。

·LAN侧接口与数据中心路由器通过eBGP相互学习LAN侧路由。

·WAN侧配置两个接口，一个接口与路由器通过eBGP交互Underlay MPLS VPN路由，另一个接口连接因特网。在站点部署双网关，共4条WAN链路（双MPLS链路+双因特网链路）。两台CPE之间通过配置 Eth-Trunk直接互联。

代表处站点

代表处站点是SD-WAN站点。在该站点部署双CPE网关。LAN侧与WAN侧的路由设计如下。

·LAN侧接口通过有线和无线两种方式与LAN侧交换机或终端互联。双CPE组网时可部署VRRP提高可靠性。LAN侧交换机若工作在二层模式下，可通过VLAN与CPE互通；若工作在三层模式下，可通过OSPF协议、BGP、直连路由协议或静态路由协议与CPE互通，并采用水平分割的方式避免路由环路。

·WAN侧配置一个接口，用于连接一条WAN链路，站点的两条WAN链路的组合存在3种场景：双MPLS链路，双因特网链路，MPLS+因特网混合链路。

WAN侧接口的路由配置可根据WAN上层网络的接入情况，部署OSPF协议、eBGP或静态路由协议。

（3）组网设计

控制平面

数据中心站点作为RR站点，通过Overlay控制通道与其他RR站点建立BGP邻居，进行Overlay路由的同步，以实现站点间的Overlay拓扑采用Full-mesh组网。每个数据中心RR站点与所在区域内的代表处站点建立控制通道，通过BGP交互Overlay路由。

数据平面

H公司在全球的站点（包括代表处分支、区域数据中心、全球数据中心）在Overlay网络中都作为SD-WAN站点，其Overlay拓扑采用Full-mesh组网，站点间全互联，业务互访通过站点间Overlay隧道直接访问。选择全球数据中心站点作为重定向站点，作为其他站点互访的逃生路径。

（4）业务设计

业务访问

H公司现网站点间存在多种类型的业务，例如，代表处站点间存在语音、视频会议等业务；代表处站点与数据中心站点间存在数据同步、电子邮件等业务；数据中心之间也存在数据同步等业务。基于Full-mesh组网方式，站点间业务通过直连的Overlay隧道互联访问。

每个SD-WAN站点都有MPLS VPN专线和因特网两条WAN链路，通过应用识别（首包识别/特征识别），识别出现网的业务类型，在应用质量检测和链路质量检测的基础上，通过基于丢包率/时延/抖动的SLA链路质量选路策略，对不同业务选择不同的主备链路，实现流量在MPLS/因特网链路上的负载分担。

·将语音、视频会议等关键应用优先调度在MPLS链路上，同时以因特网链路为备链路。

·将系统/软件升级和备份等占用带宽大且实时性要求不高的流量调度到因特网链路上；当因特网不稳定时，将非实时的应用流量智能调度到MPLS链路上，以保障所有应用的体验。

采用QoS策略保障关键的应用体验。在 SD-WAN解决方案中，根据网络中应用的重要性，对不同应用进行分层分级，优先保障VoIP、视频会议等关键应用。应用总共分成6类，通过QoS策略分别保障这6类应用的带宽，按照优先级从高到低排列如下。

·语音业务（占15%的带宽），对时延、抖动和丢包率非常敏感，流量较小，优先级最高，保障带宽，优先转发。超出预留带宽即丢弃。

·流媒体业务（占10%的带宽），对时延、抖动和丢包率较敏感，优先级中等，保障带宽。超出预留带宽的报文与其他中等优先级队列报文竞争。

·视频会议和桌面云业务（占50%的带宽），对时延、抖动和丢包率较敏感，带宽固定。桌面云流量有收敛比，优先级中等，保障带宽。超出预留带宽的报文与其他中等优先级队列报文竞争。

·关键数据和网络管理业务（占15%的带宽），包括交互应用和基础网络应用，业务重要性高，对时延较敏感且带宽需求较小，优先级中等，保障带宽。超出预留带宽的报文与其他中等优先级队列报文竞争。

·基础办公业务（占9%的带宽），对实时性要求不高，但用户多、使用广、流量占比高，带宽不足会影响基础办公应用的体验，优先级中等，保障带宽。超出预留带宽的报文与其他中等优先级队列报文竞争。

·系统/软件升级和备份业务（占1%的带宽），突发流量较大，占用大量带宽，对实时性要求不高，优先级最低，预留1%的带宽。超出预留带宽的报文不与其他队列报文竞争。

因特网访问

在SD-WAN解决方案中采用集中上网+SaaS应用本地出局上网的方式访问因特网。

·对于默认的上网流量，以全球数据中心站点作为集中的上网点，代表处站点的上网流量经过数据中心站点LAN侧出局访问因特网。

·可灵活选择SaaS业务的上网点，通过首包识别技术识别出SaaS应用。代表处站点可通过集中上网方式访问SaaS业务，也可以使用本地出局方式通过因特网访问SaaS应用，以保障SaaS业务的体验。

与传统MPLS网络互通

对于H公司SD-WAN站点需要与传统站点互通的场景，采用集中互访的方式，以全球数据中心站点作为传统互访的集中出口，在网络控制器上部署传统站点集中互访的功能，并选择全球数据中心站点作为互访站点。

（5）安全设计

·ACL策略：根据H公司的接入规范，在站点WAN侧入方向进行ACL策略，过滤恶意报文和限制危险端口的访问。

·保证Overlay隧道的安全性：基于因特网链路的Overlay隧道采用IPSec加密，保障数据传输的安全性。

（6）运维设计

网络控制器作为集中的管控和运维平台，实现了网络和业务的状态可视（全局Dashboard、告警实时监控、拓扑、站点/站点间/应用状态监控等），可管控（站点级Underlay/Overlay配置、批量下发业务策略、灵活定义多种运维角色等），可维护（可视化故障定位手段、远程SSH登录、设备系统/补丁批量升级等）。

·设备开局：通过网络控制器配置站点的Underlay参数，网络管理员通过网络控制器指定开局邮件中的URL链接，完成开局信息配置，再将开局邮件发送至开局人员的邮箱。开局人员收到邮件后，通过浏览器访问邮件中的URL链接并启动开局流程，设备自动完成开局部署。

·设备业务配置下发：网络管理员在网络控制器上配置站点设备的接口、应用识别策略、QoS、ACL和选路策略等，待设备完成注册上线后，网络控制器将配置下发到站点设备。

9.2.3 运营商案例

随着SDN和云计算技术的发展，传统企业封闭的IT架构逐渐被打破，企业通过因特网从云端访问日常办公应用的趋势日渐明显。运营商虽然可以提供无所不达的网络服务，但是其传统的网络建设方式无法跟上互联网化的节奏。如何突破传统，如何寻找新的利润增长点，如何在互联网企业的威胁下突破重围，是所有运营商面临的紧要问题。

运营商/MSP转售是SD-WAN商业模式中的一个重要组成部分，本节以通信行业先进运营商的代表V运营商为例给出具体的场景分析和方案设计。

1.场景分析

在互联网趋势的影响下，V运营商决心改变现有境遇，寻求突破。V运营商当前面临的主要问题如下。

（1）企业专线价格昂贵，增加了企业的负担

由于企业专线接入复杂且专线往往是独占的，因此价格昂贵。随着以太网和IP技术的快速发展，互联网的性能和可靠性在不断提高，企业级因特网带宽的成本比企业专线低，MPLS网络和因特网的混合WAN变得越来越普遍，成为企业WAN建设的首选。运营商的专线业务流量在快速减少，从而导致专线业务的收入不断下滑。

（2）企业专线开通慢，耗时耗力，无法满足快速部署的要求

传统专线接入的业务隔离通常采用VPN或物理隔离的方式，具备天然安全的互联网络属性，其完善的QoS机制保障了对时延敏感的应用（视频会议、VoIP等）的可靠传输。但专线存在开通慢的缺陷，比如本地有无POP、有无物理线路到达POP、跨运营商线路租用和协同、各分支线路和业务的逐台部署等问题都会影响专线业务的开通速度。随着业务上云的发展，提供分钟级的上云专线业务开通服务是未来运营商与互联网服务提供商抢占专线业务市场的关键。

（3）传统专线业务选路策略简单，无法感知业务并根据业务进行选路

传统的专线业务是根据路由制定选路策略，例如，根据业务流的目的地是公司总部还是数据中心制定选路策略，选路策略的检测粒度没有达到应用级，也没有考虑应用对链路质量的需求。随着互联网的发展，业务越来越丰富，不同企业对业务质量的要求有差异，故对WAN链路的质量要求也不同。

（4）传统专线网络的运维复杂，难以快速定位网络故障

传统专线网络出现故障时，因故障定位难、周期长，导致企业业务无法快速恢复，给企业造成巨大的损失。随着网络的快速发展，企业办公业务趋向于云化、异地化，而智能化的网络能够帮助企业快速定位问题，并保证企业分支站点与总部站点之间的连通性。

（5）传统网络业务配置靠手工方式，对网络工程师要求高且容易出错

传统企业WAN的业务开通主要靠网络工程师去现场手工配置，容易出错，而且对网络工程师技能的要求高、业务开通时间长、运维效率低。随着企业规模的不断扩大，企业需要在更多的地区建设分支并按需调整业务。因此，企业新业务能够快速上线，才能适应企业业务迅速发展的需要。

V运营商分析了上述问题，提出以下网络建设的需求。

（1）提升运营商专线业务竞争力，增强用户黏性

WAN的建设方案需求简单、易部署，可以帮助运营商快速发展企业客户，尤其是大企业的高价值客户，扩大市场份额。建设方案要能提升运营商的竞争力，赢得与互联网服务提供商的竞争。运营商除了建设xDSL/MPLS/MSTP专线网络外，还需要建设基于以太网和IP技术的WAN，帮助企业降低专线费用。

（2）转变营销模式，增加专线业务收入

将企业租用运营商专线、购买VAS设备的模式转变为企业从运营商处购买SD-WAN服务和虚拟VAS的模式。将运营商转售CPE，即一次性收取设备费用和按月/年收取专线费用的模式转变为运营商提供免费CPE，按实际的使用时间或流量收取服务费的模式，帮助运营商获取长期收益。将企业自己管理维护WAN的模式转变为运营商面向企业提供管理服务，帮助企业管理维护WAN的模式。

（3）实现基于SDN技术的智能网络调度

长期以来，企业WAN连接都存在粗放管理、难以调度的问题。网络中断的故障不易排查，需要网络管理员奔赴现场，业务流量路径的切换更不容易，网络配置稍有不慎，将会造成网络的瘫痪。基于SDN技术，网络管理员可以通过向导式的可视化业务配置界面，结合客户网络实际的业务需求，制定细粒度的业务路径管控策略。通过对带宽质量、利用率等实时数据的大数据分析，主动优化流量路径，实现智能的网络调度，大大降低网络管理员的工作负担，同时帮助企业节省网络维护成本。

（4）实现专线业务快速开通和网络可视化运维管理，降低OPEX

传统专线业务通常面临着开通慢、成本高、配置复杂等问题。运营商通过在企业客户侧部署CPE/uCPE，并基于ZTP实现快速开局，大幅简化客户的网络配置操作。此外，运营商面向企业客户提供可视化的全局网络视图，为企业实时呈现网络质量和安全状态，帮助企业客户高效地运维自己的WAN。

2.方案设计

根据对V运营商的需求分析，SD-WAN解决方案提供商为V运营商设计了一个开放、智能、与NFV/SDN技术相结合的SD-WAN解决方案，支持运营商对中小型企业的代维和VAS提供，为企业提供WAN的建设和维护服务，以减少企业对设备和专业运维人员的投入。该方案有以下3方面的优势。

·转控分离，提升网络的可靠性。通过部署网络控制器实现控制平面与数据平面的分离，避免数据流量的冲高对控制平面的影响，提升了网络的可靠性。

·多租户管理，简化运维。通过网络控制器实现对SD-WAN站点的统一管理，支持MSP面向多租户提供网络代维服务。通过网络控制器界面化的监控/配置/诊断功能，提升网络运维的效率。

·开放API实现平台对接和业务自动化发放。通过网络控制器北向RESTful API与运营商BSS/OSS系统的对接，实现用户业务订购信息到网络控制器的自动化导入，加速业务发放，同时支持VAS自动化开通，增强客户黏性。

V运营商的SD-WAN解决方案架构如图9-4所示。

图9-4 V运营商SD-WAN解决方案架构图

（1）总体规划

V运营商在数据中心部署SD-WAN 网络控制器，引入多租户RR站点、多租户IWG设备，同时对企业客户已有的站点进行网络改造，完成传统站点向 SDWAN站点的迁移，协助客户部署新的SD-WAN站点。

·在运营商数据中心部署网络控制器，用于对所有租户的SD-WAN设备进行管理和业务编排。网络控制器提供两个南向业务IP地址，分别对应专线链路和因特网链路，SD-WAN站点开局时可选择通过专线或因特网链路向网络控制器注册。

·根据需要在数据中心部署多租户RR站点和多租户IWG设备，且均采用单网关组网，用于为企业客户提供与传统站点的集中互访业务。

·在运营商的行业云部署SD-WAN GW设备，将其作为企业站点到运营商行业云的SD-WAN接入点。

·企业站点可根据企业实际需求采用单网关或双网关组网。

·针对不同企业租户站点的互联，SD-WAN需要向租户分配网络路由域以及传输网，与相应的租户MPLS VPN、因特网对应。V运营商需要为企业提供多租户RR/IWG设备接入服务，并分配多租户共享的路由域，如MPLS（MSP）、因特网（MSP）等。

部署时，首先部署网络控制器；其次根据V运营商的场景需求，部署多租户站点，包括RR和IWG设备（这些设备均由运营商统一管理）；最后部署企业站点，企业站点中优先部署企业总部站点。

（2）站点设计

企业站点

在企业网络出口部署支持SD-WAN功能的CPE。V运营商在为企业用户建设专线时，可以转售支持SD-WAN功能的CPE。企业用户可以根据需要选择部署一台或两台SD-WAN CPE，设备类型包含CPE、uCPE和vCPE。LAN侧与WAN侧的路由设计如下。

·LAN侧：CPE可以通过有线和无线两种方式与LAN侧交换机或终端互联。双CPE组网场景下可部署VRRP提高可靠性。LAN侧交换机工作在二层模式下时，可通过VLAN与CPE互通；工作在三层模式下时，可通过OSPF协议、BGP、直连路由协议或静态路由协议与CPE互通，并采用水平分割的方式避免路由环路。

·WAN侧：两台CPE都需要与MPLS链路、因特网链路互联。可根据WAN上层网络的接入情况，部署OSPF协议、eBGP或静态路由协议。

多租户IWG

在V运营商提供的专线网络中部署支持SD-WAN功能的网关设备，即部署SD-WAN IWG设备，实现V运营商的MPLS网络与SD-WAN互通。可以选择两台或多台设备作为主备或负载分担，以保证企业业务的可靠性。IWG设备需要支持多租户功能，即在逻辑上将一台IWG设备划分成若干个虚拟边界网关，每个接入的企业为一个租户。虚拟边界网关设备对企业用户不可见，运营商管理员可以对虚拟边界网关进行管理和控制。LAN侧与WAN侧的路由设计如下。

·LAN侧：通过MPLS Option B的方式与传统MPLS网络的ASBR PE对接，通过MP-eBGP交换路由，为企业侧提供与传统MPLS网络站点互通的SD-WAN Overlay接入服务。

·WAN侧：IWG设备与MPLS、因特网链路互联。可根据WAN上层网络的接入情况，部署OSPF协议、eBGP或静态路由协议。IWG设备连接的MPLS VPN是租户共享的业务VPN，通过PE上的路由交叉实现不同租户站点路由从租户VPN到业务VPN的引入。

多租户RR站点

在多租户IWG组网场景中，通过部署多租户的RR站点实现企业站点间以及企业站点到IWG的控制通道的建立，由运营商统一管理与维护。

多租户RR站点为单网关CPE站点，LAN侧不做部署，WAN侧通常可部署双WAN链路，一条为MPLS VPN链路，另一条为因特网链路。多租户RR站点连接的MPLS VPN是租户共享的业务VPN。多租户RR站点的WAN接口的Underlay路由可根据WAN上层网络的接入情况，部署OSPF协议、eBGP或静态路由协议，Overlay与IWG以及企业站点通过MP-BGP交互Overlay路由。

（3）组网设计

控制平面

企业站点的互联依赖RR站点分发Overlay路由，RR站点的建设一般可采用RR站点与企业总部Hub站点合设或由运营商给企业分配MSP多租户RR站点两种方式。对于IWG互联的场景，要求企业采用由运营商分配的MSP RR站点，统一承载控制平面。

数据平面

在V运营商的SD-WAN解决方案中，Overlay的组网可由如下两部分组成。

·企业内站点间的Overlay互联。对于企业站点出口部署的SD-WAN CPE，可根据企业站点间互访的需要，通过WAN侧Underlay网络构建Overlay拓扑，如Hub-spoke、Full-mesh、Partial-mesh拓扑等。

·企业分支站点与IWG的互联。对于有与传统MPLS网络互通需求的企业，可构建企业分支站点与运营商IWG Overlay互联的组网，企业分支站点经过Overlay隧道连接运营商提供的IWG站点，实现与传统MPLS VPN的互通，访问传统站点，获取运营商数据中心的网络服务。根据企业的规模和企业对IWG接入业务的质量要求，运营商可选择单个企业独占IWG或多个企业共享IWG两种模式。

（4）云网融合

V运营商除了满足企业客户访问公有云的需求外，也自建了行业云，为企业客户提供行业云服务，进一步增强客户黏性，并获得更大的利润空间。为了让企业客户可以灵活方便地接入运营商提供的行业云，享受云服务体验，V运营商采用SD-WAN云网融合方案，方案的组网如图9-5所示。

图9-5 V运营商SD-WAN云网融合方案组网

SD-WAN云网融合方案中，网络控制器部署在运营商行业云内，网络控制器管理分支CPE和SD-WAN GW。SD-WAN GW部署在运营商行业云的WAN侧出口，基于运营商专线或互联网与分支CPE建立Overlay隧道。

考虑到企业分支访问运营商行业云需要高可靠性，在运营商行业云内部署多个SD-WAN GW，为企业分支接入云提供主备接入功能。SD-WAN GW和运营商行业云内的云GW的对接技术，采用的是MPLS Option A VLAN或VXLAN方式。SD-WAN GW需要支持多租户，即将一台SD-WAN GW在逻辑上划分成若干个虚拟边界网关，每个接入的企业为一个租户。

企业分支站点通过部署SD-WAN CPE可以获得基于因特网或运营商专线的云连接服务。运营商SD-WAN运维人员通过ZTP实现企业站点CPE的自动化上线，与SD-WAN GW建立Overlay隧道访问行业云，运营商可根据服务进行带宽限速。

通过SD-WAN GW实现SD-WAN云网融合方案的优势包括以下4种。

·SD-WAN GW支持多租户共享。

·SD-WAN GW支持分支CPE的Overlay接入，分支的接入不受数据中心内的组网的影响。

·SD-WAN GW和云GW的对接简单、可靠。

·网络控制器支持多租户管理。

（5）业务设计

业务访问

通过应用识别在企业分支站点的设备上识别出企业现网的应用类型，便于在后续的业务智能选路等流程中应用相关的业务策略。

对于企业站点同时连接MPLS链路和因特网链路的场景，将以MPLS专线作为业务承载的主要链路。MPLS链路承载生产业务，因特网链路承载办公业务和视频会议业务，访问SaaS的业务优先通过因特网链路本地出局。通用的选路策略如下。

·FTP/ICMP应用主选MPLS链路，备选因特网链路。

·HTTP下载应用主选因特网链路，备选MPLS链路。

·Web应用主选因特网链路，备选MPLS链路。

·访问SaaS业务时，Web应用基于选路策略，通过因特网链路本地出局。

此外，因特网链路和MPLS链路互为主备。当MPLS链路发生故障时，生产业务可以切换到因特网链路，生产业务承载在因特网链路上时需要预先配置最高的服务质量等级；当因特网链路发生故障时，办公业务可以切换到MPLS链路并配置中等服务质量等级，视频会议业务切换到MPLS链路并配置最低的服务质量等级。当因特网链路发生故障时，SaaS业务流量可以从本地出局切换到通过MPLS链路到Hub站点集中出局。

因特网访问

V运营商针对不同的因特网链路使用场景，给企业客户提供了3种不同的安全方案。

·因特网只作为分支站点间互访的Underlay传输网，分支站点不开启本地出局上网功能，分支站点上网采用集中到总部Hub站点的方式，统一从总部的防火墙出局上网。此外，可在分支站点配置Underlay ACL策略，提高安全性。

·分支站点上网采用“指定流量本地出局+默认流量集中到总部上网”的方式。站点本地通过首包识别功能识别出SaaS应用流量类型，只允许特定的SaaS应用流量从分支本地出局，其他上网流量集中到总部并通过防火墙出局。此外，可在分支站点配置Underlay ACL策略或部署内置防火墙，从而保障分支的安全性。

·分支站点部署uCPE，在uCPE上部署vFW，通过虚拟化的专业防火墙功能保障分支站点的网络安全，分支站点所有的上网流量都本地出局。对于分支站点LAN侧存在公网服务器的场景，可使能CPE上的Underlay NAT功能为LAN侧服务器进行地址映射，满足从公网可以访问分支LAN侧的公网服务器的要求。

与传统网络互通

对于V运营商的网络而言，传统MPLS网络不在网络控制器的管理和控制范围内。网络控制器需要支持SD-WAN和传统MPLS网络互通。根据V运营商的网络情况，推荐在SD-WAN的IWG上部署MPLS Option B方式与传统MPLS网络对接，为企业侧提供与传统MPLS网络站点互通的SD-WAN Overlay接入服务。

（6）安全设计

V运营商在部署SD-WAN解决方案时，考虑通过以下几种方式以提升安全性。

·路由策略控制：管理员通过在网络控制器上配置Underlay WAN路由策略，通过路由白名单或黑名单进行过滤，使站点只接收来自网络控制器以及对端SD-WAN站点的路由。

·ACL访问控制：根据企业客户接入网规范，在企业分支站点WAN侧的入方向部署ACL策略，过滤恶意报文和限制危险端口访问。

·uCPE部署vFW：对于部分部署uCPE的站点，在uCPE上创建业务链，安装vFW以增加安全性。vFW可具备专业的七层防火墙的安全防护功能，如防病毒等。

·保证Overlay隧道的安全性：基于因特网链路的Overlay隧道采用IPSec加密，保障数据传输的安全性。

（7） uCPE方案

租用V运营商专线的企业客户类型各不相同。有的企业仅有一个分支站点或少量分支站点。针对此类型的企业，建议部署uCPE以降低客户网络的建设成本和复杂度。uCPE支持部署可提供第三方VAS的软件，网络控制器上仅需提供第三方软件VAS的镜像软件包，就可以在uCPE上线后部署vFW、软件负载均衡和软件广域加速等VAS功能。V运营商可以通过网络控制器定期更新VAS软件的版本，保持VAS功能处于最新版本。

（8）运维设计

运营商的运维工作除了包含企业自建SD-WAN运维子方案中所涉及的CPE开局、网络业务监控、网络业务维护等内容外，还涉及多租户管理和客户Portal访问权限管理等。

多租户管理

在运营商运营的情况下，网络控制器除了需要提供企业自建方案中需要的功能外，还需要支持分权分域的管控功能，分别为V运营商的网络管理员、二级运营商的网络管理员和企业的网络管理员提供不同的管控权限。

·网络控制器在管理域上可以划分为系统管理员（V运营商的网络管理员）、MSP管理员（二级运营商的网络管理员）和租户管理员（企业的网络管理员）。

·V运营商的网络管理员作为系统管理员具有最高权限，可以按角色创建新的系统管理员、MSP管理员或者租户管理员。当系统管理员对策略调整时，调整后的结果对所有租户有效。

·V运营商的网络管理员创建MSP账户后，可以通过该MSP的缺省管理员创建新的角色，并基于角色创建新的MSP管理员或者租户管理员。如果不存在二级运营商，V运营商的网络管理员也可以作为MSP管理员。

客户Portal的访问权限管理

SD-WAN Portal的访问权限管理作为增值服务提供给企业客户，运营商为企业客户访问租户Portal提供3种不同的访问权限。

·只有监控权限的访问账号，可监控该租户账号下的SD-WAN的网络状态。

·具有监控权限以及Overlay业务配置权限的账号，可监控该租户下的SDWAN的网络状态，配置智能选路/QoS/ACL策略/多VPN等业务。

·具有监控权限、Overlay业务配置权限以及安全业务配置权限的账号，可监控SD-WAN网络状态，配置智能选路/QoS/ACL策略/多VPN等业务，以及配置防火墙/URL过滤/IPS等安全业务。

（9）网络控制器北向接口

网络控制器提供了丰富的北向接口，V运营商可以根据需要定制基于网络控制器的第三方应用，也可以使用网络控制器提供的图形化用户界面作为网络日常的运营和维护工具。运营商基于SD-WAN提供北向API与第三方应用对接主要出于以下两方面的考虑。

·实现SD-WAN CPE开局的参数由运营商BSS/OSS平台向控制器的自动化导入，提高部署效率，增强SD-WAN站点大规模部署的能力。平台将已有的租户/站点/设备等信息向网络控制器自动导入，提升业务分发效率，实现大规模部署，同时降低人为信息导入的错误率。

·通过网络控制器与运营商BSS/OSS平台的API对接，使客户订购的增值业务通过API调用网络控制器完成自动化下发，进而实现业务随需随取。例如，在带宽业务中，客户临时需要扩带宽的服务，可在线订购“带宽翻倍一小时”的增值业务，运营商OSS/BSS平台通过API调用完成相关配置自动化下发，实现业务及时开通，准时到期。

9.2.4 MSP案例

移动办公、视频流量增加和业务云化的趋势增加了企业对网络带宽需求，应用对WAN的服务质量提出了更高的要求。企业的IT运维团队越来越难以为数据中心出口的业务（尤其是访问公有云的应用）提供QoS保证。伴随着云计算、大数据和AI的快速发展，企业日益增长的云访问需求与企业现有的IT能力匮乏的矛盾为MSP提供了广阔的市场和巨大的机遇。

MSP是企业获取网络托管服务的重要渠道，采用业界领先的管理技术，为企业提供系统的托管服务。MSP的核心竞争力是服务质量和技术水平，而传统MSP的最大不足就是技术水平不够，无法规模化发展。在企业业务云化的趋势下，MSP如何提升自身的多云管理能力、企业网络托管能力和专业服务能力，是MSP面临的新的挑战。

本节以C国处于领先地位的管理服务提供商代表MSP Z为例介绍SDWAN的场景分析和方案设计。

1.场景分析

针对当前业务中的问题以及对市场发展趋势的分析，MSP Z总结出如下的问题。

（1）企业“最后一公里”的接入成本高，业务开通慢

MSP Z在C国全国范围内租用了运营商的MSTP线路，并在此之上构建了MPLS VPN作为MSP Z的骨干网向企业提供专线服务，企业分支通过接入MSP骨干网可以满足企业分支访问数据中心、分支间互访等业务的需要。如果MSP Z不能提供企业客户站点“最后一公里”的线路设施，那么企业分支接入MSP骨干网将需要铺设线路，这部分昂贵的线路成本最终会由企业客户来承担，提高了企业购买MSP Z骨干网业务的资费门槛，而且线路的铺设也延长了业务开通的时间。

（2）云连接专线开通周期长，线路成本高，管理复杂

作为企业客户访问公有云的最后一段，MSP Z需要打通骨干网到企业公有云资源的连接。通过传统的专线方式，MSP需要支付昂贵的线路铺设的费用，以及向公有云服务商支付云专线接入的服务费用，这使得MSP Z需要负担沉重的前期投入。而面对不同企业访问不同的公有云的需求，传统专线的云连接方式带来了不能灵活开通业务、业务开通周期长、云连接业务质量不可见、多云管理复杂等诸多问题。

2.方案设计

基于当前MSP Z的现状，SD-WAN解决方案提供商为MSP Z设计的SD-WAN解决方案架构具有如下优势。

·灵活的“最后一公里”接入降低了业务开通成本，缩短了业务开通周期。通过因特网实现企业分支到骨干网POP GW的SD-WAN接入，免去了铺设“最后一公里”的线路，同时ZTP降低了对开局人员的技术要求，能够快速响应企业客户的需求，加速分支业务的开通。

·提供云接入和管理功能，满足企业业务云化的需求。通过在企业客户VPC中部署vCPE作为云站点，实现企业公有云资源与MSP骨干网POP的灵活打通和企业分支跨POP访问公有云。同时MSP具备对云站点以及对云连接的链路性能的可视化管理。

MSP Z的SD-WAN解决方案的架构如图9-6所示。

图9-6 MSP Z的SD-WAN解决方案的架构

（1）总体规划

MSP Z在数据中心部署SD-WAN 网络控制器，引入多租户RR、POP GW等设备，同时对企业客户已有的站点进行网络改造，完成传统站点向SDWAN站点的迁移，协助客户部署新的SD-WAN站点。

·MSP Z在数据中心部署网络控制器用于对所有租户的SD-WAN设备进行管理和业务编排；网络控制器提供两个南向业务IP地址，分别对应MPLS链路和因特网链路，SD-WAN站点开局时可选择通过MPLS链路或因特网链路向网络控制器注册。

·数据中心内需要部署多租户RR站点，作为统一的控制平面。

·在MSP骨干网边缘部署多个POP GW站点，作为骨干网的SD-WAN接入点。

·企业站点根据企业的需要部署单网关或双网关站点。

·为企业提供多租户RR以及POP GW接入服务，Overlay网络统一规划，为企业客户分配多租户共享的路由域，如MPLS（MSP）、因特网（MSP）等。

·划分接入区，并关联RR和POP GW，按接入区为企业客户提供骨干网接入服务。

部署时，首先部署网络控制器，其次部署多租户 RR站点，再次部署多租户POP GW站点，最后部署企业站点。

（2）站点设计

企业站点

在企业网络出口部署支持SD-WAN功能的CPE。企业用户可以根据需要在分支站点选择部署一台或两台SD-WAN CPE，设备类型包含CPE、uCPE和vCPE。LAN侧与WAN侧的路由设计如下。

·LAN侧：CPE可以有线和无线两种方式与LAN侧交换机或终端互联。双CPE组网场景下可部署VRRP提高可靠性。LAN侧交换机工作在二层模式下时，可通过VLAN与CPE互通；工作在三层模式下时，可通过OSPF协议、BGP、直连路由协议或静态路由协议与CPE互通，并采用水平分割的方式避免路由环路。

·WAN侧：企业站点CPE与因特网上行的WAN链路互联。可根据WAN上层网络的接入情况，部署OSPF协议、eBGP或静态路由协议。

POP GW站点

在MSP Z提供的MPLS VPN的边缘部署支持SD-WAN功能的转发设备，作为SD-WAN站点接入MPLS VPN的POP GW，具体方案为分区域部署SD-WAN边界网关设备POP GW，POP GW站点为单网关CPE站点，通过主备区域POP GW保证企业业务的可靠性。POP GW需要支持多租户，即将一台POP GW在逻辑上划分成若干个虚拟边界网关，每个接入的企业为一个租户。虚拟边界网关设备对企业用户可见，MSP网络管理员可以对虚拟边界网关进行管理和控制。

·POP GW LAN侧通过MPLS Option B的方式与传统MPLS网络的ASBR PE对接，通过MP-eBGP交互路由，为企业提供与传统MPLS网络站点互通的SD-WAN Overlay接入服务。

·POP GW WAN侧与因特网 WAN链路互联。可根据WAN上层网络的接入情况，部署OSPF协议、eBGP或静态路由协议。

多租户RR站点

在POP GW组网场景中需要部署多租户RR站点来建立企业站点间以及企业站点到POP GW的控制通道，由MSP Z统一管理与维护。

多租户RR站点为单网关CPE站点，LAN侧不做部署，WAN侧通常可部署双WAN链路，一条为MSP Z的骨干网专线链路，另一条连接因特网链路。多租户RR站点的WAN接口可根据WAN上层网络的接入情况，部署OSPF协议、eBGP或静态路由协议，Overlay与POP GW以及企业站点通过MP-BGP交互Overlay路由。

（3）组网设计

控制平面

POP互联组网场景中，控制平面统一由MSP Z部署的多租户RR站点承载。

·分区域部署多租户RR站点，与本区域内的POP GW建立Overlay控制通道。

·企业基于VPN选择接入区，站点与接入区内的RR站点建立Overlay控制通道；站点可分别关联主备接入区内的RR站点增强控制平面的可靠性。

数据平面

MSP Z的SD-WAN中Overlay的组网可由如下两部分组成。

·企业站点和POP GW互联。如果企业有跨区域访问数据中心、访问公有云以及分支互访的需求，企业站点可通过POP互联的方式，接入区域内的POP GW，保障业务的体验。企业站点与POP GW建立Overlay隧道作为数据通道，不同接入区的POP GW间通过MSP Z骨干网Underlay互通。

·企业内站点间的Overlay互联。对于企业的SD-WAN站点，可根据企业内站点间互访的需要，通过WAN侧因特网构建Full-mesh拓扑的组网。

（4）业务设计

业务访问

MSP Z为保障不同租户访问骨干网的业务带宽，在POP GW和骨干网PE间按照租户VPN配置了QoS策略，基于租户VPN对访问MSP骨干网的流量进行带宽限速，同一租户VPN的所有分支共享一个骨干网接入带宽。

MSP Z代维模式在企业分支站点设备上开启应用识别（首包识别/特征识别）功能，识别企业现网业务应用，并基于应用识别的结果配置基于应用的智能选路、QoS策略，保障企业关键应用的带宽和优先级。对于企业分支通过多个因特网线路连接POP GW的场景，MSP Z可配置分支到POP GW的选路策略，实现业务流量在多个因特网链路上的分担，满足企业客户的关键应用体验以及对因特网带宽合理利用。

因特网访问

MSP Z的SD-WAN解决方案为企业客户提供了不同的因特网访问方式，包括站点本地上网、集中站点上网和混合方式上网。

公有云访问

MSP Z通过在企业公有云VPC中部署vCPE将企业云资源作为云站点，基于因特网或MSP部署的云专线Underlay传输网，实现云站点到POP GW的SD-WAN Overlay接入，企业SD-WAN分支站点通过MSP骨干网采用跨POP GW站点的方式访问公有云站点。

与传统网络互通

MSP Z骨干网中的传统企业站点不在网络控制器的管理和控制范围内，需要MSP支持企业SD-WAN站点和传统MPLS站点互访。根据MSP Z的网络情况，推荐SD-WAN站点通过连接POP GW实现与传统站点的互访。

（5）安全设计

MSP Z在部署SD-WAN解决方案时，考虑通过以下几种方式提升安全性。

·路由策略控制：管理员在网络控制器上配置Underlay WAN路由策略，通过路由白名单或黑名单进行过滤，使站点只接收来自网络控制器以及对端SD-WAN站点的路由。

·ACL访问控制：根据企业客户接入网规范，在企业分支站点WAN侧的入方向部署ACL策略，过滤恶意报文和限制危险端口访问。

·uCPE部署vFW：对于部分部署uCPE的站点，在uCPE上创建业务链，部署vFW增加安全性。vFW可具备专业的七层防火墙的安全防护功能，如防病毒等。

·保证Overlay数据的安全性：对SD-WAN中因特网链路的Overlay隧道采

用IPSec加密，保障数据传输的安全性。

（6）运维设计

MSP Z的运维工作除了包含企业自建SD-WAN运维子方案中所涉及的CPE开局、网络业务监控、网络业务维护等内容外，还涉及多租户管理和客户Portal访问权限管理等。

MSP Z为企业客户提供了多种不同的SD-WAN站点开局方式，以适应不同场景的需要，包括邮件开局、DHCP开局、注册中心开局、U盘开局。

企业客户的运维可采用MSP代维模式，由MSP Z统一负责代维代建，同时MSP Z会提供只有监控权限的租户账号给企业客户，作为SD-WAN服务的一部分。

注释

[1]此处指代省、自治区和直辖市，全书下同。

第10章 SD-WAN相关组件

华为SD-WAN解决方案的组件包含NetEngine AR系列路由器和 iMaster NCE-WAN网络控制器，本章将主要介绍这两类组件的应用场景和主要功能特性。

10.1 NetEngine AR系列路由器

10.1.1 基本介绍

NetEngine AR系列路由器是华为公司自主研发的全新一代路由器，它基于Solar AX架构，通过CPU+NP异构转发和内置加速引擎提供高性能转发能力，同时融合了SD-WAN、路由、交换、VPN、安全、MPLS等多种功能，满足了企业业务多元化和云趋势下对网络设备的高性能需求。

华为NetEngine AR系列路由器可以按需部署在企业总部或企业分支，为企业网络提供出口能力。NetEngine AR系列路由器的实物如图10-1所示。

图10-1 NetEngine AR系列路由器

华为NetEngine AR系列路由器架构的亮点如表10-1所示。

表10-1 华为NetEngine AR系列路由器架构的亮点

10.1.2 应用场景

1.通过混合链路构建SD-WAN

在SD-WAN解决方案中，华为NetEngine AR系列路由器可以作为企业总部或分支站点的网关设备，支持MPLS专线和因特网等多种物理链路，并由SD-WAN网络控制器提供统一的可视化管理，其组网如图10-2所示。华为NetEngine AR系列路由器集成了丰富的SD-WAN特性，通过应用智能识别、智能选路、智能加速等手段为企业构建极致的业务体验。

图10-2 SD-WAN场景组网

2.通过因特网构建不同类型VPN

华为NetEngine AR系列路由器提供了多种安全接入功能，以满足企业分支之间、企业分支与总部之间、合作伙伴访问企业内部信息的需求。总部和分支机构站点间建立隧道，包括IPSec VPN、GRE VPN和L2TP VPN等，从而实现数据的安全访问与传输，如图10-3所示。通过接入远程隧道，合作伙伴可以访问企业的内部资源，支持针对用户的安全认证与授权。

图10-3 VPN场景组网

华为NetEngine AR系列路由器提供支持国密算法的接口卡，插卡灵活，满足用户对业务安全性的扩展需求。通过硬件完成数据的加密和解密，极大地提高了数据的加密和解密性能，为客户提供了端到端的安全保障。

10.1.3 功能特性

1.高性能

首次将全新的ARM CPU+NP异构转发架构应用到SD-WAN CPE，内置丰富的硬件级智能加速引擎，如硬件级HQoS、IPSec、ACL、应用识别等，实现三层～七层以应用为中心的业务处理，支持包括VPN、应用识别、监控、 HQoS、智能选路、广域优化、安全等复杂的业务能力。该Net Engine AR系列路由器的特点是：ARM架构的多核处理器和无阻塞交换架构；具有提供领先于业界平均水平3倍的性能，为关键业务提供低时延体验；SRU主控板具有的独有CPU+NP硬件加速，业务处理无瓶颈。

2.高可靠

遵循电信级标准设计，为企业用户提供如下可靠且优质的服务。

·板卡热插拔，提供主控板、电源、风扇等关键硬件冗余备份设计，保证业务安全稳定。

·提供企业业务的链路备份，提高业务接入的可靠性。·毫秒级的故障检测和判断机制，缩短业务中断的时间。

3.易运维

支持SD-WAN管理、SNMP网管、Web网管等多种管理方式，简化网络部署。不仅支持免现场调测的维护方式，还支持远程集中管理的功能，极大地降低了企业用户的维护成本，提高了维护效率。

4.业务融合

集路由、交换、VPN、安全、WLAN等多种功能于一体，满足企业业务多元化的需求，降低企业的TCO（Total Cost of Ownership，总拥有成本）。

5.安全

内置防火墙、IPS、URL等过滤技术，为用户提供全面的安全防护能力。

6.SD-WAN Ready

（1）配套SD-WAN解决方案，构建低成本的、商业级的因特网连接。

（2） ZTP一键式部署（邮件开局、U盘开局、DHCP开局等），对开局人员的技能要求低，设备分钟级上线。

（3）支持应用的首包识别和特征识别及基于带宽和链路质量的智能选路，保证关键应用的体验。

10.2 iMaster NCE-WAN网络控制器

10.2.1 基本介绍

SD-WAN网络控制器（iMaster NCE-WAN）是华为SD-WAN解决方案的核心组件，它可对企业互联业务进行全流程管理，提供专线业务的自动化部署、智能选路策略配置、VAS业务管理，以及即插即用、可视化运维等能力，并且可提供开放接口，与第三方系统实现对接等，如图10-4所示。

图10-4 SD-WAN网络控制器

SD-WAN网络控制器的结构及功能如下。

（1）北向接口：提供标准的RESTful北向接口，可与第三方的网管、协同器、分析器等系统实现对接，易于被集成。

（2）业务功能：提供针对企业专线业务的开通部署、策略管控、VAS业务管理、可视化运维等业务功能，帮助企业简化专线业务管理，提升运维效率。

（3）基础功能：主要是指网络控制器平台所提供的基础能力，包括网络控制器的集群管理、系统的多租户管理、基础网络管理、设备管理等。

（4）南向接口：与CPE对接，NETCONF接口主要用于CPE配置的下发；HTTP2.0主要用于传输CPE的性能数据；HTTPS主要用于软件版本及补丁的传输。

SD-WAN网络控制器采用微服务架构，主要微服务列举如下。

·网元采集微服务：主要收集网元上报的性能数据，对数据进行格式化、分类等相关处理后插入数据库。

·网元南向微服务：为上层业务提供统一的网元南向驱动，对下发给网元的配置按款型和版本进行适配，下发调度，并对网元相关的资源进行集中管理。

·WAN网络微服务：主要处理iMaster NCE-WAN相关的业务编排，包括Overlay网络构建、拓扑编排、站点上网、站点本地出局等。

·策略配置微服务：主要处理Master NCE-WAN相关的策略编排，包括QoS策略、ACL策略、选路策略、安全策略等。

·监控微服务：主要提供iMaster NCE-WAN业务相关的监控功能，包括链路质量监控、流量数据监控、应用质量监控、应用流量监控等。

·运维微服务：主要提供iMaster NCE-WAN相关的运维功能，包括设备告警、设备升级、故障巡检、应用质量精确监控、设备故障信息采集等。

此外，SD-WAN网络控制器支持与FI（FusionInsight）集成，通过FI实现大数据分析，具体主要对从设备采集的数据进行分析、业务可视化、运维监控等。

10.2.2 技术亮点

1.快速部署，加速SD-WAN业务上线

SD-WAN网络控制器可实现端到端网络业务的自动化部署，支持CPE即插即用，支持设备快速上线无技术门槛，同时支持快速配置及自动化部署。专线业务上线周期从几个月变为几天，业务开通更快捷，企业业务延伸到哪里，网络服务就能提供到哪里。

2.智能选路，提升业务体验

SD-WAN网络控制器支持基于应用的智能选路配置，既支持预定义应用的识别配置，也支持用户自定义应用的识别配置，可根据用户对应用质量的不同诉求，对应用实现差异化的网络服务，并优先保障关键应用的体验。

3.按需VAS，加速业务上线

SD-WAN网络控制器可支持对uCPE上VNF的全生命周期管理，企业客户可实现VAS业务快速加载；同时还支持uCPE上的VNF业务链编排，保证业务流量能按顺序通过多个VNF功能节点，满足企业多种业务需求。

4.可视化运维，全网应用流量可视

SD-WAN网络控制器支持应用和链路的可视化管理，可实现全网状态可视，可实时掌控网络状态，提升运维效率。通过对实际业务流进行监测统计，展现应用和链路的质量及状态趋势，实现快速排障及故障精准回溯。

10.2.3 功能特性

1.即插即用

在SD-WAN场景中，iMaster NCE-WAN支持即插即用功能。通过邮件开局、DHCP开局等方式，使CPE上电后能够主动向iMaster NCE-WAN注册，完成上线。即插即用功能可以使企业分支站点的CPE快速上线，实现站点业务的快速开通。

2.隧道管理

随着企业分支的不断增加，分支与总部、分支与分支之间的互访变得越来越多，组网也变得越来越复杂。为了满足企业自动化组网的需求，iMaster NCE-WAN提供了隧道自动化配置能力，实现按需动态建立隧道，同时支持隧道加密，保证了企业业务的安全。

·支持VPN网络拓扑的配置和编排。

·支持Full-mesh、Hub-spoke、Partial-mesh和分层组网。

·支持IPSec加密。

3.智能选路

SD-WAN解决方案可提供混合链路的接入能力。为了保障企业关键应用的业务体验，iMaster NCE-WAN支持基于应用的智能选路，以确保高质量要求的业务通过专线链路传输，低质量要求的业务通过因特网链路传输。同时，在网络故障或链路质量不稳定时，实现链路灵活切换，提升业务体验。

·支持预定义应用以及用户自定义应用的识别。

·支持基于时延、抖动、丢包率和带宽利用率的选路策略配置。

4.按需VAS

传统模式下，企业站点的VAS业务都是由不同的硬件提供的，其缺点是硬件功能固化，业务部署和开通复杂。为了实现VAS业务按需快速部署，可通过uCPE设备承载虚拟化VAS业务，iMaster NCE-WAN能够对uCPE上的VNF实现管控。

·支持uCPE上VNF生命周期管理（支持部署、暂停、删除、停止和重启等操作）。

·支持远程登录VNF。

·支持uCPE上VNF业务链编排。

·支持uCPE上VNF监控（可查看VNF管理IP、CPU、RAM、运行/操作状态等信息）。

5.可视运维
iMaster NCE-WAN支持基于站点、链路、应用的可视化管理，可快速定位故障，提升运维效率。

·支持基于全网站点显示健康站点分布/健康得分Worst站点/站点列表等。

·支持指定单站点显示平均AQM/带宽利用率/吞吐量趋势/AQM Worst应用等。

·支持基于全网链路显示LQM Worst链路/Top流量/链路列表等。

·支持指定链路显示LQM趋势/吞吐量趋势/应用Top流量/应用AQM分布等。

·支持基于全网应用显示AQM分布/AQM Worst/AQM Top应用/应用Top流量/应用列表等。

·支持指定应用显示AQM趋势/吞吐量趋势等。

6.性能监控
iMaster NCE-WAN支持多种性能监控功能，方便网络管理员检查网络及业务的状态。

·站点监控：以站点为维度，呈现网络业务数据。

·站点间监控：以站点间链路为维度，呈现网络业务数据。

·应用监控：以应用为维度，呈现网络业务数据。

7.日志管理

随着网络的普及、应用环境的日益复杂以及网络规模的不断扩大，需要更加智能、有效地进行网络管理。iMaster NCE-WAN支持以下3类管理日志。

（1）安全日志

用户的登录、创建、注销、修改、删除等，需要记录安全日志。

审计员角色的用户可以导出本租户的安全日志；系统管理员、审计员、操作员角色的用户可以查看系统租户的安全日志。

（2）运行日志

主要是一些用户感兴趣的事件，比如加载补丁、升级等，还包括一些异常事件。

审计员角色的用户可以导出本租户的运行日志；系统管理员角色的用户可以查看系统租户的运行日志。

（3）操作日志

对所有涉及数据变化的用户操作都需要记录操作日志，但对查询类等不涉及数据变化的操作不记录操作日志。

审计员角色的用户可以导出本租户的操作日志；系统管理员、审计员、操作员角色的用户可以查看系统租户的操作日志。

第11章 SD-WAN未来展望

全球化、数字化转型以及业务自动化和弹性化等趋势正在塑造着对于新型网络的需求，新兴的云原生模型、5G、物联网、智能终端、网络安全威胁以及沉浸式应用程序都对IT网络的架构和运营带来了持续且显著的影响。我们将难以应对这些需求的规模、复杂性和动态性。新兴网络正通过AI、机器学习以及自动化等技术保障正常的运营，同时提高人类的决策能力。

这些技术和产业趋势的变化正推动SD-WAN不断地向前发展、演进和完善。本章从技术演进和产业变化两个角度，介绍新技术和新趋势对SD-WAN的影响以及产业发展的新动向，展望SD-WAN的美好未来。

11.1 技术演进趋势

在国内外SD-WAN市场蓬勃发展的同时，众多网络相关的新技术也在迅猛发展，不断推动SD-WAN技术的车轮滚滚向前。参考业界ONUG等产业标准组织关于SD-WAN的演进观点，同时结合华为公司SD-WAN的多年实践和理解，从整体上看，可将SD-WAN技术的演进大致分为3个发展阶段，如图11-1所示。

图11-1 SD-WAN技术演进趋势

SD-WAN 1.0阶段在组网上主要以混合WAN为基础。从企业视角看，该阶段是在SD-WAN网络控制器的集中管控下，实现了企业在多种不同WAN链路上的混合组网，借助应用识别和应用选路实现了多WAN链路的灵活调度和简易配置；同时初步实现了面向业务的编排和自动化，支持站点访问因特网、多VPN隔离、基础拓扑规划、基础安全和连接公有云等基础特性。总之，SD-WAN 1.0阶段比较好地满足了企业在混合WAN和云时代的WAN互联的基本诉求。

当前所处的SD-WAN 2.0阶段，是从SD-WAN 1.0阶段更多地关注企业自建场景需求转移到运营商转售模式，提供了可运营的能力。在SD-WAN 1.0阶段的基础上，该阶段增强支持多租户管理、IWG以及POP组网等多个重要的运营商SD-WAN特性，将企业WAN互联能力进一步提升；同时，ONUG在SD-WAN 2.0阶段中主张将云的连接也扩大到混合云和多云连接，从运营商和MSP的角度看，SD-WAN 2.0阶段成为企业2B市场的一种新型高品质服务。

展望未来的SD-WAN 3.0阶段，诸如SRv6、5G以及AI等将进一步增强SD-WAN连接的灵活性、智能性以及应用范围。以SRv6为核心的可编程路径技术将大大提升SD-WAN选路的灵活性；5G将大大增加SD-WAN的覆盖范围；AI将使SD-WAN在应用识别以及高级的运维分析方面更加智能，SD-WAN有望进入更广阔的物联网等领域。

下面主要围绕SD-WAN 3.0阶段可能的技术趋势和方案变化进行探讨。

11.1.1 5G

5G全称为第五代移动通信系统，5G拥有众多技术优势，其中3个主要的技术特征如下。

·更高的速率：相比4G技术，5G峰值速率增长数十倍，从4G的100 Mbit/s提高到10～20 Gbit/s；

·更多的连接：ITU（International Telecommunication Union，国际电信联盟）定义的5G物联网连接数支持每平方千米100万个连接，比4G技术高十倍；

·更低的时延：ITU定义的5G端到端时延低至1 ms，是4G端到端时延的1/10。

此外，5G还拥有丰富的应用场景和行业价值。ITU定义了5G的三大典型场景，包括增强移动宽带、海量机器类通信和超高可靠低时延通信，如图11-2所示。

图11-2 ITU定义的5G典型场景及应用

5G网络具有更大的带宽、更低的时延、更高的覆盖率以及更低的成本，同时5G作为无线技术，用户“最后一公里”接入更加方便、快捷，因此5G能为SD-WAN解决方案提供非常理想的WAN链路，具体分析主要有3点：利用5G的高带宽低时延，可以支持高清视频等业务，使SD-WAN中广域优化的FEC等视频的加速功能可以更好地发挥作用；结合5G+MSTP、5G内APN（Access Point Name，接入点名称）分片的需求，SD-WAN可以充分利用网络带宽，同时SD-WAN的应用选路可以具有更好的竞争力；5G上行灵活组网，网络随开随得，使得站点能够快速部署、简化站点的开局步骤，提升SDWAN站点ZTP方案的竞争力。

下面以金融行业为例，介绍5G对行业产生的影响。首先，5G催生了一大批金融行业的新应用，也推动了5G在企业的普及，如图11-3所示。其次，5G能满足AR/VR等应用的高带宽、低时延需求，支撑起大量金融行业的新应用，典型的有VR证券及金融交易、VR交付等。

5G技术在促进行业应用繁荣的同时，通过SD-WAN和5G相结合，可面向金融行业提供大带宽、低时延、优体验的解决方案。以下是华为5G + SDWAN的解决方案在金融行业的主要应用场景。

（1）场景一：5G + SD-WAN无人银行

5G + SD-WAN助力银行开通无人银行：通过引入5G、因特网等多种链路接入，降低链路成本；简化部署运维，专业人员不用到现场操作；网点内部所有终端设备统一接入管理，包括智能家居、安保业务等设备。

图11-3 5G催生的金融行业新应用

5G + SD-WAN无人银行能够给金融行业带来WAN链路高利用率、低成本和关键业务零中断的客户价值，如图11-4所示。

图11-4 5G + SD-WAN无人银行

目前，网络切片等5G技术尚未成熟，所以运营商构建的是NSA（NonStand Alone，非独立组网）网络。但考虑到网络服务质量和安全特性，需在无人银行网点部署5G专用基站和室内分布系统，接入运营商SA（Stand Alone，独立组网）网络，实现无线射频的频率资源独占、基站上联带宽和计算资源独享，并为银行部署专用的VPDN（Virtual Private Dial Network，虚拟专用拨号网络）。

在无人银行案例中，银行业务和物联网业务在5G和MSTP专线构建的Underlay网络上传输。在此基础上构建的SD-WAN Overlay为不同等级的业务提供高可靠的、差异化的接入网，实现基于业务种类和链路质量需求的智能选路。

同时，无人银行网点也可以部署因特网链路，用于承载用户上网和灾备流量。5G、MSTP和因特网链路可根据安全性要求，选择建立不同隧道，以确保数据安全。

总行建立5G接入区，通过5G与无人银行网点直连。各无人银行网点通过千兆有线网络直接接入运营商5G CPE。华为高性能NetEngine AR作为5G CPE，具备5G、SD-WAN业务高速处理能力，同时借助应用智能选路，保证银行业务、安保业务等关键业务零中断。通过SD-WAN设备即插即用，实现业务自动化发放和WAN可视化运维。

（2）场景二：5G + SD-WAN智慧网点互联方案

5G成为SD-WAN的WAN链路，通过5G，银行网点可以快速实现SDWAN互联，如图11-5所示。

图11-5 5G + SD-WAN智慧网点互联方案

在保证网络质量的前提下，与传统专线互联方式相比，5G+SD-WAN智慧网点互联具有开通周期短、维护成本低等特点。

（1） 5G助力SD-WAN高品质连接

借助高速5G的接入以及链路的资源池化，通过统一调度，提升了带宽利用率；同时借助SD-WAN特有的应用智能选路和广域优化，保证了关键应用业务零中断。

（2）统一管理，简易运维

实现了LAN/WAN统一管理，无须部署多套管理系统，简化了运维的复杂度；同时支持设备即插即用、自动化业务部署发放、业务分钟级上线。

11.1.2 SRv6

1.SR简介

随着时代的进步，网络业务的种类越来越多，不同类型的业务对网络的要求不尽相同，例如，实时的语音/视频应用程序通常需要低时延、低抖动的路径，而大数据应用则需要低丢包率的高带宽通道。如果仍旧按照网络适配业务的思路，则不仅无法匹配业务的快速发展，而且会使网络部署越来越复杂，变得难以维护。

针对上述情形的解决思路就是业务驱动网络，由业务来定义网络的架构。具体来说，就是由应用提出需求（时延、带宽、丢包率等），网络控制器收集网络拓扑、带宽利用率、时延等信息，根据业务需求计算显式路径。

SR（Segment Routing，段路由）正是在此背景下产生的。通过SR可以简易地定义一条显式路径，网络中的节点只需要维护SR信息，即可应对业务的实时、快速发展。

SR是基于源路由理念而设计的一种在网络上转发数据包的协议。SR将网络路径分成一个个的段，并且为这些段和网络中的转发节点分配段标识SID（Segment ID）。通过对段和网络节点进行有序排列（Segment List），就可以得到一条转发路径。SR将代表转发路径的段序列编码封装在数据包头部，随数据包传输，当接收端收到数据包后，对段序列进行解析。如果段序列的顶部段标识是本节点，则弹出该标识，然后进行下一步处理；如果不是本节点，则继续将数据包转发到下一节点。SR具有如下特点：

·通过对现有协议（如IGP）进行扩展，能使现有网络更好地平滑演进；

·同时支持网络控制器的集中控制模式和转发器的分布控制模式，提供集中控制和分布控制之间的平衡；

·采用源路由技术，提供网络和上层应用快速交互的能力。

2.SRv6简介

未来的网络是面向5G时代的网络。面对5G，网络也需要做出相应的调整，化繁为简，低时延、SDN/NFV化是其后续的主要发展方向。

对于5G网络的下一步发展，用户希望能够借用IPv6的地址更简单地实现VPN。SRv6技术就是采用现有的IPv6转发技术，通过扩展IPv6报文的头域，实现类似标签转发的处理。SRv6将一些IPv6地址定义成实例化的SID，每个SID有着自己显式的作用和功能，并可以通过不同的SID操作，实现简化的 VPN，以及灵活的路径规划。

IPv6报文是由IPv6标准头、扩展头（0…n）和负载（Payload）组成。为了基于IPv6转发平面实现SRv6，需新增加一种IPv6扩展头，称作SRH（Segment Routing Header）扩展头。该扩展头指定一个IPv6的显式路径并存储IPv6的Segment List信息，其作用与IPv4 SR里的Segment List相同。

头节点在IPv6报文中增加一个SRH扩展头，中间节点就可以不断地通过更新目的地址和偏移地址栈的操作来完成逐跳转发。SRH扩展头的格式如图11-6所示。

图11-6 SRH扩展头的格式

SRH扩展头的抽象格式如图11-7所示。

图11-7 SRH扩展头抽象格式

（1） IPv6 Destination Address：IPv6报文的目的地址，简称IPv6 DA。在普通IPv6报文里，IPv6 DA是固定不变的。在SRv6中，IPv6 DA仅标识当前报文的下一个节点，因而是不断变换的。

（2） <Segment List [0], Segment List [1], Segment List [2],…, Segment List [n]>：SRv6报文的段列表，类似于SR MPLS中的MPLS标签栈信息，在入节点生成。Segment List [0]是SRv6路径上第一个需要处理的Segment List，Segment List [1]是第二个，Segment List [2]是第三个，…，Segment List [n]是第n+1个。

SRv6 Segment是IPv6的地址形式，通常也可以称为SRv6 SID。SRv6 SID 有很多类型，不同类型的SRv6 SID代表不同的功能，其中End SID（Endpoint SID）是SRv6 SID类型中的一种，用于标识网络中的某个目的地址的前缀（Prefix）。End SID通过IGP扩散到其他网元，全局可见且全局有效。

基于End SID的数据转发过程如图11-8所示。

图11-8 基于End SID的数据转发过程

以下为A节点到Z节点的数据包逐跳转发过程。

步骤① 数据包在A节点压入SRH信息，其中路径信息是<Z::, F::, D::, B::>，IPv6 DA是B::。

步骤② 每经过一个节点，例如B节点和D节点，都会根据IPv6 DA查询Local SID表，判断是End类型，然后继续查询IPv6 FIB表，根据FIB表查到的出接口下一跳转发，同时SL减1，IPv6 DA变换一次。

步骤③ 到达F节点时，F节点根据IPv6 DA查询Local SID表，判断是End类型，然后继续查询IPv6 FIB表，根据FIB表查到的出接口下一跳转发。同时SL减为0，IPv6 DA变为Z::，此时路径信息<Z::, F::, D::, B::>已无实际价值，因此F节点利用PSP（Penultimate Segment POP of the SRH，SRH信息倒数第二段弹出）特性将SRH路径信息去除，然后把报文转发到Z节点。

SRv6的最大优点在于可以灵活定义业务的端到端转发路径，因此特别适合与SDN结合，打造真正可以编程的网络。在广域互联领域，通过SRv6与SD-WAN的融合，在网络控制器的集中控制下，可以在源CPE上指定端到端的业务转发路径，为此可以衍生出多种有价值的场景，如SD-WAN Overlay网络与运营商Underlay网络的联动场景。

SRv6通常在运营商的Underlay网络（WAN骨干网）中部署。如果能够使SD-WAN的Overlay网络和运营商的Underlay网络通过SRv6进行联动，那么Underlay网络基于SRv6的面向应用SLA的选路优势就可以被企业的SD-WAN业务充分利用，从而可以协同打造高品质的企业应用体验，如图11-9所示。

图11-9 SD-WAN Overlay网络与运营商Underlay网络联动

总体方案是采用运营商Underlay网络和企业SD-WAN Overlay网络分层解耦的思路。其中，运营商Underlay网络的SR控制器负责整个Underlay骨干网的拓扑、链路质量、链路带宽等信息收集和资源分配，SR控制器根据业务SLA诉求，计算满足业务SLA要求的端到端SR路径。

SD-WAN网络控制器根据应用的需求定义SLA，并向SR控制器发起Underlay路径的计算诉求，SR控制器计算出符合SD-WAN业务SLA要求的Segment List后，向SD-WAN网络控制器返回路径计算的结果，该结果可以通过SR-Policy来标识。

企业分支CPE识别出应用后，向SD-WAN网络控制器查询到相应的SRPolicy的SID，并且在SD-WAN Overlay隧道报文中压入SID。该业务报文转发到第一跳的运营商Underlay网络设备，Underlay设备识别出报文中携带的SID，再将SR控制器提前计算好的SR路径完整压入该报文，然后继续进行报文转发。后续的报文将按照SR控制器计算好的符合特定SLA诉求的SR网络路径进行逐点转发，从而满足了业务的转发性能要求。

该方案对分支CPE性能的影响很小，SRv6扩展头也由SD-WAN网络控制器配置下发，对CPE的控制平面性能没有带来额外负担；SRv6的数据平面技术还是IPv6的报文转发，跟其他IPv6 Overlay隧道技术的转发开销没有本质差异。该方案保持了SD-WAN Overlay网络与运营商Underlay网络的松耦合，同时又有效地实现了双方的业务联动，代价小且收益显著。

11.1.3 AI

AI是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。AI涉及的范围十分广泛，它由不同的领域组成，如机器学习、计算机视觉等。总的来说，AI研究的主要目标之一是使机器能够胜任一些通常需要人类才能完成的复杂工作。

AI从诞生以来，理论和技术日益成熟，应用领域也不断扩大，用于SDWAN领域的时机逐渐成熟。下面以应用识别作为AI应用的典型场景，展望AI在SD-WAN的应用前景。

众所周知，准确的应用识别是SD-WAN的重要基础技术，因为应用选路与可视、QoS以及广域优化调度等都依赖应用识别的结果。如前文所述，SDWAN现有的应用识别技术手段主要包括以下几种。

·协议识别：基于应用服务器的IP地址和端口来区分不同的应用。

·特征识别：基于业务报文的特征来区分不同的应用。

·DNS关联识别：基于应用服务器的域名来区分不同的应用。

当前应用识别技术面临的一些难题如下：

·企业应用服务器的IP/PORT会变化，导致协议识别表项维护成本高；

·应用流量加密，通过特征识别无法识别出应用类型；

·不是所有服务器IP地址都有相应的域名，因此DNS关联识别只能解决部分问题；

·同一应用由多个服务组成，而现有应用识别手段都需要“人”来指定组成关系；

·不同企业有不同的定制化应用，同一企业会持续增加新的应用，而对每个新类型应用的识别，都需要“人”参与。

基于AI的应用识别方案主要包括以下几种：

·基于流行为特征的应用大类识别，目标是识别出业务的类型，如语音、视频、文件下载、游戏等，需采集的流信息包括业务流前M个报文的报文长度、间隔等；

·基于神经网络的应用识别，目标是通过有监督的方式识别出具体的应用，如即时通信应用等，需采集的流信息包括业务流前N个字节的内容；

·基于非监督的应用识别，目标是通过“零接触”的方式识别出企业私有应用，需采集的流信息包括流建立/终止的时间、DNS响应报文、URL请求报文。

由于有监督的AI算法需要预先采集数据，并对数据进行标注。然后基于这个数据集训练出一个模型。但是对于企业的私有应用，难以到客户现场采集数据并打标签。此外，不同企业的私有应用是不同的，并且在持续增加中，采用有监督的AI算法成本很高，无法部署，因此SD-WAN可以重点考虑采用非监督的AI算法进行应用识别。

非监督的AI算法针对企业私有应用流量加密的场景，采用机器学习非监督算法对网络流量进行应用分类识别，降低对应用部署规划及应用流特征等知识的依赖，无须对网络流量进行标注，降低了实施难度。该算法同时解决了新增应用的自动持续识别问题，支持应用间依赖关系的识别，即不仅支持应用可视，还支持应用间拓扑关系可视。

该算法在不需要用户干预的情况下，实现应用识别；可通过流行为特征/规则分析（拓扑结构分析），实现对服务端与客户端的区分；利用聚类算法和图分析算法，从时间相关性、周期性和DNS等方面进行带有优先级的多维度、融合聚类分析；采用识别结果自动标注方案对结果进行标注展示。

11.2 产业新变化

事实表明，SD-WAN正走过早期试商用阶段，进入规模部署阶段。在这个过程中，除了上述的技术演进趋势外，SD-WAN产业形势和格局也正在发生新的改变。

1.企业WAN软件与服务市场增长迅速

随着越来越多的运营商和MSP推出全系列的SD-WAN解决方案，SDWAN服务提供商的角色越来越突出。除了一些大型企业可能会选择建立自己的SD-WAN全球网络外，许多中小型企业都希望从服务提供商处获得企业WAN的托管服务，从而满足自己无法独立维护分支机构网络的诉求。因此，服务提供商需要提供SD-WAN服务以确保在市场上保持竞争力。

SD-WAN过去的发展主要体现在改进托管服务方面，如支持多租户和更好地集中管理。未来SD-WAN技术将具备跨服务提供商的联合托管服务能力，从而建立全球合作伙伴关系。SD-WAN技术也将基于开放的API与其他异构的网络平台和业务系统更好地集成和合作。

2.企业更少关注成本节约，更多关注应用体验

对于SD-WAN的价值，很多企业用户认为其可以使用因特网等低成本链路替代昂贵的专线，从而减少企业的成本支出。倘若一个企业愿意放弃其所有的MPLS专线，并完全用因特网替代，那么确实能够节省成本，然而却需要增加一些网络优化技术来解决因特网的不可预测性。此外，大多数企业建立的是混合网络，并会因流量的增加而增加带宽，因此在这种情况下是无法节约企业成本的。所以，企业不应该以省钱为唯一目的，而应该更多地关注应用的体验效果。运营商已经意识到了这一点，并没有过多地从节约成本的角度出发，因为相比于节约网络成本这点来说，SD-WAN还具备更大的应用价值。

3.企业更多关注安全性

企业部署或迁移至SD-WAN后，随着网络架构的改变，分支机构可通过本地出局直接访问云服务，这对网络安全有着深远的影响，根据分支机构数量的不同，接入云端的数量可以从1个增加到数百个甚至数千个。因此，企业安全体系架构需要考虑云安全、虚拟设备的安全和容器化服务的安全。

SD-WAN服务提供商将加强与安全服务提供商的合作，进一步集成下一代防火墙、统一威胁管理和防病毒等功能。企业可以选择在分支机构、数据中心或云端部署网络安全功能。

4.市场变得拥挤，整合将加速

在Gartner的SD-WAN魔力象限中，目前已有20多家SD-WAN服务提供商，企业的经营范围涉及网络、安全以及广域加速等多个领域，其中有很多初创公司、小型服务提供商和大型网络设备厂商，跨度很大。预计今后会有更多的MSP和边缘安全供应商进入这个市场，为企业提供50多种可能性选择。

对于企业来说，拥有大量的选择方案固然是个好消息，但这最终将对市场不利，因为供应逐渐大于需求，SD-WAN市场必然将走向整合。很多只提供基本的SD-WAN功能的厂商已不能满足企业在WAN上的需求。合并收购那些仅为了参与SD-WAN市场而增加了一些基本功能的供应商，有助于改善SD-WAN市场，加速全球企业SD-WAN的部署。因此，随着小众厂商的没落，今后市场上将会出现更多的收购。

11.3 回顾与展望

SD-WAN是当今网络领域最热的技术之一，正在深刻地影响着企业WAN架构和IT架构的变化。本书结合华为的实践，描述了SD-WAN解决方案的本质和核心功能的定义和理解，并就SD-WAN的主要功能特性、实现原理以及案例进行了比较详细的阐述。

展望未来，SD-WAN的市场空间十分广阔。根据Gartner的最新报告，预计到2023年，全球软件定义的WAN基础设施市场平均每年将增长近31%。根据IDC最新的SD-WAN市场预测，从2018年的14亿美元开始，SD-WAN市场将在2023年达到52.5亿美元。可以说，SD-WAN前景大好，市场“钱”途无量。

让大家携起手来，在实践中不断摸索，让SD-WAN最终成长为企业走进IT数字化和全球化成功大门的一把不可或缺的金钥匙！

缩略语

续表

续表

续表

续表

续表

续表

续表

参考文献

[1] ONUG. Software-Defined WAN Use Case [R/OL]. (2014-10) [2019-12-31].

[2] MEF. Understanding SD-WAN Managed Services, Service Components, MEF LSO Reference Architecture and Use Cases [R/OL]. ( 2017-07)[ 2019-12-31] .

[3] MEF. MEF 70, SD-WAN Service Attributes and Services [R/OL].( 2019-07) [ 2019-12-31] .国之重器出版工程

扫描二维码

阅读电子书