前言
为什么需要这本书? —— 当代码遇见真实世界的网络
"为什么我的服务在国内运行良好,海外用户却频繁卡顿?"
"云服务商的SDN方案号称智能路由,为什么实际部署时仍要反复调试?"
"教科书里的OSI模型,为什么解决不了跨国视频会议的网络抖动?"
这些困扰无数研发工程师的"网络谜题",正是本书诞生的起点。我们不再重复《TCP/IP详解》中的协议细节,而是聚焦现代研发者在云原生、全球化、实时交互等场景下的真实网络战场。
本书的独特定位
研发视角的实用主义
抛弃传统教材的协议分层说教,我们从分布式系统设计、跨国业务部署、实时音视频传输等18个真实研发场景切入,直击**"教科书不教,但每个程序员都会踩坑"**的网络实践问题。
成本与质量的工程平衡
通过50+个国内外云厂商的架构案例,解析如何用带宽单价优化30%、如何设计智能路由降低跨国延迟40ms、如何通过边缘节点布局节省百万级IDC成本——这些来自Google Cloud、阿里云、Zoom等企业的实战经验,正是架构师的核心竞争力。
穿透技术表象的底层逻辑
当你在AWS控制台配置VPC时,背后是运营商级NAT的复杂映射;当你调用CDN API时,实际在调度BGP Anycast的全球路由。我们不仅教操作,更揭示网络服务商不愿明说的商业规则与技术黑箱。
核心问题图谱(研发工程师的七大拷问)
| 困境维度 | 典型场景 | 本书解法 |
|---|---|---|
| 全球互联 | 东京AWS与法兰克福Azure间如何建立高可用通道? | 第四章 智能路由与混合云组网方案 |
| 成本黑洞 | 为什么95计费峰值的带宽成本会突然飙升200%? | 第十章 网络资源计量与优化模型 |
| 质量迷局 | 用户投诉视频卡顿时,如何快速定位是CDN问题还是最后一公里网络故障? | 第六章 全链路质量监测体系 |
| 安全攻防 | DDoS攻击流量如何绕过云防火墙直达业务服务器? | 第十一章 现代网络攻防全景图 |
| 协议演进 | QUIC协议真的能让移动端请求成功率提升15%吗? | 第八章 应用层协议工程实践 |
| 基础设施迷雾 | 边缘节点的物理位置究竟在城域网哪个层级? | 第五章 边缘计算网络拓扑解密 |
| 跨国差异 | 为什么同样的配置方案,在中国移动和AT&T网络中表现截然不同? | 第二章 运营商网络架构深度对比 |
作者自述:从音视频网络到百万级架构的启示
2016年寒冬,当我第一次部署跨国视频会议系统时,教科书上的TCP拥塞控制算法在现实面前显得苍白无力——中东用户频繁掉线、西欧节点突发流量导致账单失控、国内运营商NAT穿透失败...这些问题在传统网络教材中找不到答案。
通过七年时间与全球23个云数据中心、15家CDN供应商、8大运营商的深度合作,我们提炼出研发工程师必备的网络知识图谱:
- 基础设施的"暗知识":运营商级NAT的端口分配规律、BGP劫持的常见手法、95计费峰值的数学建模...
- 现代协议的工程化实践:QUIC在弱网环境下的调优技巧、WebRTC的NAT穿透实战、HTTP/3的部署陷阱...
- 全球网络的地缘法则:中国移动"墙中墙"网络结构解析、AWS Global Accelerator的智能路由机制、俄罗斯主权互联网RuNet的特殊性...
- 黑盒系统的观测手段:利用RIPE Atlas测量跨国路由、基于eBPF的内核网络追踪、自制BGP监控告警系统...
如何阅读本书?
新手工程师
建议按章节顺序阅读,重点关注第六章(质量监测)和第七章(云网络),配合随书提供的网络诊断工具包实践
架构师读者
可直接切入第四章(跨国组网)和第十章(成本优化),参考附带的网络设计模式库(含拓扑图模板)
技术管理者
推荐阅读第二章(运营商对比)和第十一章(安全),书中包含多个技术选型Checklist和风险评估框架
"网络问题本质上是空间问题——你的代码运行在哪个物理位置?数据流经哪些自治域?受谁制定的规则约束?理解这些,就掌握了分布式系统的时空密钥。"
—— 作者于阿里云硅谷数据中心
(完整目录详见下一页面,建议优先阅读加粗章节获取即时实践价值)
1. 互联网的组织和连接
一、网络的基本自治架构
(一)自发形成的网络
- 定义:先有人住,再把路连起来的网络模式(Nets)
- 分类:LAN、CAN (Campus) -> MAN、WAN
- 特点:under same administration
- 参考资料:再看下这篇
(二)AS——自治基本单位
- Autonomous System概念
- 内部:内网,使用IGP协议
- 外部:使用BGP协议
- 地址空间:具有独立的地址空间
- ASN:全世界总数约90000个
- AS查询:查询地址
- 举例:如ChinaNet DB IP AS等
- 特殊情况:不注册的AS、Regional Internet Registry (RIR)、治理机构(ICANN(IANA) / APNIC / CNNIC)
(三)AS间的互联
在了解了单个AS的情况后,来看AS之间是如何互联的。
- 互联协议:BGP协议
- 互联原理:数据经过多个AS到达目的,内部和外部都进行路由
- 具体路由方式
- AS内:交换和路由,使用iBGP
- AS外
- 形式:交换和路由 (Dark Fiber/IXP)
- 协议:BGP
二、互联网的运营体系
(一)运营商角色概述
互联网的运营离不开多个角色的参与,主要包括:
- 内容提供商 (Providers)
- 概念:涉及POP点(接入),汇聚机房,核心机房
- 参考资料:参考
- 机房一侧情况:(可进一步展开说明)
- 用户 (Clients)
- 运营商/接入服务商(Internet Service Providers, ISP)
- 相关问题:The Internet is a network of networks that make up other networks.互联网到底是如何建立起来的?
- 参考视频:视频
(二)运营商的分层
不同规模和功能的运营商可以进行分层,以便更好地理解其在互联网中的作用。
- Tier 1 network
- 定义:An Internet Protocol (IP) network that can reach every other network on the Internet solely via settlement-free interconnection (also known as settlement-free peering)
- 特点:建好就免费,互相免费,全互联,只提升传递能力,不承载内容
- 物理特性:光缆粗细,中继长度,对铜缆的替换
- Backbone:海底电缆地图
- 范围:跨国,跨洋,跨大洲,大国内主要骨干
- 相关公司:AT&T, CenturyLink等
- 总数:16 - 20个
- Tier 2 network
- 定义:A network that peers for free with some networks, but still purchases IP transit or pays for peering to reach at least some portion of the Internet.
- 范围:省级,区域性
- Tier 3 network
- 定义:A network that solely purchases transit/peering from other networks to participate in the Internet.
- 范围:面向用户接入需求
- 国内情况说明:国内情况有所不同,后续先介绍一般情况,再说明特殊情况
(三)运营商间互联
各层级运营商之间的互联是互联网顺畅运行的关键。
- 互联方式:Peering / Transit / IXP
- 区别:Public Peering / Private Peering / Transit
- IXP (IXs)
(四)最终用户接入
互联网的最终目的是服务用户,下面介绍用户接入互联网的方式。
- 接入方式:Celluar 和 Landline
- Celluar相关内容
- 物理特性
- 路由
- 对高层协议的影响
- 技术代际:2g/3g/4g/5g/LTE
- 收费模式:by usage / by capacity / by 95th percentile capacity
- Wifi相关内容:特征 / 802.11
- PoP和最后几公里:(可进一步展开说明)
- Landline相关内容
- 接入形式:cable, (A)DSL, fiber, or wireless 等
- FTTH和影响
(五)接入相关问题
在用户接入过程中,会遇到一些问题需要关注。
- 区别分析:计费方式,延迟,负载瓶颈等
- 限速问题
- 免流量情况
- 光纤同轴混合网(HFC)
- FTTH/FTTX 和影响
- 公网IP不足问题:NAT映射浮动IP,内网IP
三、互联的商业逻辑
(一)ISP互联的商业逻辑模式
ISP之间的互联存在多种商业逻辑模式。
- 模式分类:provider-customer transit、peer -ing、multihome
- ISP 和 Provider 的 Peering
- 互利关系:Provider帮ISP减少transit费用,ISP给Provider同网免费带宽
- 参考资料:Akamai的Content Partner政策
- 潜在问题:(需要确认)胁迫:大Provider要ISP做 free peering,否则干扰
- 连出的商业逻辑:Learn from customers、Learn from providers、Learn from peers (不挣钱)
- 连入的商业逻辑:Customer 挣直接钱、Peer 免费扩大、Providers 不挣钱,但有内容吸引力
(二)ISP互联的商业考虑因素
在进行互联时,ISP需要考虑多方面因素。
- 付费原因:为什么小接大要付费?
- 规模/成本考虑:看网络资源在哪里,如大小运营商例子(向骨干连入)等
- 互联策略:先 transit 再 逐步 peer
- 质量收益:Peering 的 质量收益
- 特殊情况:De-peer / 扰乱正常使用
- 同级关系:同级间既竞争又合作
(三)ISP互联的付费形式
ISP互联的付费形式主要有以下几种。
- Bandwidth / 95th / volume
(四)ISP互联的趋势
随着互联网的发展,ISP互联也呈现出一定的趋势。
- 结构变化:树状走向扁平化
- 目的和方式
- 目的:商业考虑为主,国内存在更多政策考虑
- 方式:互相连,或者多连几家 multihome
- 相关问题:IPv6和IP地址问题
2. 海内外互联网的运营
一、拓扑和特性对比
(一)3 - Trees vs. Layered Mesh
前文提及分层运营,不同的网络拓扑结构在海内外互联网运营中有着不同的体现。
(二)网络模型示意

国内三大运营商网络模型示意

海外分层和互联网络模型示意
二、国内运营商网络情况
(一)发展历史
国内运营商网络的发展历经多个阶段,每个阶段都有其重要意义。
- 前邮电时代
- 最早的互联网接入——科研机构拉来国际专线
- 最早的大网——中科院(CSTNET),教育(CERNET)
- 邮政和电信时期
- 公共互联网的起源——邮电部和ChinaNet AS
- “邮电分家”
- “一张网不够”——CN2
- 市场经济和军转民阶段
- 联通的诞生——电子工业部
- 反垄断阶段
- “电信的拆分”——网通CNCNET的成立,China169大内网
- “南电信北联通”——电信经营CDMA,网通并入联通
- “两强问题”——移动的崛起CMNET——铁通的并入。后起无服务器资源(下载站),但4g/5g有优势。后来并铁通,大内网开始,网内给够带宽,做大后网间逼降价
- 后三大运营商时代
- “四级办广电——第四大运营商”
- 小运营商情况
- 广电CBNNET(跨省问题),歌华宽带,天威,华数
- 鹏博士(宽带通),北京电信通,长城宽带(无骨干网牌照)
- 方正宽带

国内运营商历史
了解骨干网的目的
(二)网络架构
以电信为例,国内运营商网络架构具有一定的特点。
- 分层结构:城域/省网/汇聚/核心,后取消省网
- 核心位置
- 北京、上海、广州,是ChinaNet的超级核心
- 除了超级核心之外,ChinaNet还有天津、西安等普通核心
- 所有核心之间,采用Full - Mesh连接。国际出入口,以及运营商之间的互联互通,基本上都在核心层
- 汇聚层情况
- 汇聚层一般都在各省省会或第二大城市,采用双方向互联,分别连到一个超级核心和一个普通核心,有的省份会三方向互联
- 接入层,就是汇聚层到各个地市城域网的接口
- 网络质量
- ChinaNet 85%,晚上卡顿,丢包
- CN2 15%,预期100%,精品网,质量好,又有细分
- 政企网
其他运营商情况:简介联通和移动的情况。
(三)网间互联问题及解决方法
国内运营商网络在互联过程中面临着多种问题,以下是具体情况及解决办法。
- 南北互联问题:(可进一步展开说明)
- 网间互联问题
- 移动向电信和联通付费 (8万元/Gbps/月)
- 政策解决方法,互联网公司业务解决方法
- 小运营商连通性问题
- 企业合并
- 争取政策
- 流量透传
- 非规范的网内代理
- 运营商互联/用户联入
- 如用鹏博士接入上网,xhs看我ip是”共享地址”/“本地链路地址”
- 网间结算价格问题
- 工信部22号文:2月24日工信部发布《关于调整互联网骨干网网间结算政策的通知》(工信部信管[2020] 22号),要求中移动与中联通和中电信对等互联,互不结算;四家公益性网络免费互联;降低三大对中国广电、中信的结算费用
- 虽然工信部在推动跨网结算双向免费,但两三年前电信和联通还收移动9万/G/月,向中小运营商收20万 - 100万元/Gbps/月。这个隐性成本只能逐步降低,不可能通过一纸文件立即消失
- 跨省结算问题
- 互联问题的解决方法
- 分省分运营商设立服务器
- 智能DNS
- 内容分发网络(CDN)
- 双线/多线/BGP服务器
(四)国际出口带宽情况
国内运营商网络的国际出口带宽是连接海外网络的重要环节。
- 基本情况
- 国内主流网络运营商国际连接线路简谈
- 出口位置
- 北京负责地区:北京、河北等
- 上海负责地区:上海、浙江等
- 广州负责地区:广东、福建等
- 总出口:出口带宽共有 8,946,570 Mbps (=8.9Tbps)(第43次《中国互联网络发展状况统计报告》)
- 中国电信:4,537,680 Mbps
- 出口:北京/上海/广州;香港
- 进出口路由路径,分为三个品级:163 网(CN1)、CN2 GT(Global Transfer 又称半程 CN2 )、CN2 GIA(Global Internet Access 又称纯 CN2/全程 CN2)
- 单程CN2,与往返CN2出口
- 虽然出口宽带总量最大,且人均出口带宽排行第二,但电信 163 网连接国际网络,会在高峰时段,在路由出海前的最后一跳,根据优先级,策略性地人为丢包,以减轻对主网的负担(QOS),这让普通电信用户糟糕的外网访问质量雪上加霜
- "普通用户怎么可能用得上CN2,电信最大的出海线路是163骨干网,对应路由ip都是202.97,CN2是给高端用户的。出海线路走不走CN2,联通和移动用户走不走CN2也是看海外机房买不买这个线路的。联通移动都有自己的出海线路。联通A网的出海线路是最好的,其次是联通的169骨干网。移动的出海线路也是有的只是移动在海外也有自己的网络,所以不是对应某个线路,所有线路均是走境内9808境外58453。你所说的三网用户汇集走cn2,目前也只有少量云服务商提供这种服务,据我所知搬瓦工是其中之一。"
- 中国联通:2,234,738 Mbps
- 中国移动:1,997,000 Mbps
- 中国电信:4,537,680 Mbps
- 人均出口情况
- 中国联通 > 中国电信 > 中国移动
- 晚高峰拥堵
- 互联带宽总结
- 据互联网流传的可能是中国电信内部培训资料显示,到2010年时,ChinaNet与国际互联网互联带宽为440G、省际互联带宽为13970G、与国内其他互联网骨干网互联带宽约450G、与CN2互联带宽为140G
- 机房类型
(五)国内数据中心的运营商线路
国内数据中心的运营商线路有多种类型,以满足不同的需求。
- 单线机房(大带宽)
- 双线机房(单网卡双IP,双网卡双IP)
- 三线机房(单网卡3IP)
- BGP机房(静态和动态)
(六)中国网络特性
中国网络具有以下特性,这些特性影响着网络的运营和发展。
- 所有者归国家
- 分三大运营商
- 严格分省经营
- 政策考虑优于市场考虑
- 各地发展较均衡
- 发达地区补贴落后地区
- 商用补贴全公司
- 有后发优势,也有先发包袱
三、海外运营商网络情况
(一)网络格局
海外运营商网络有着不同的格局,以下是相关参考资料。
- 全球网络格局
- 云厂商机房位置和分区
(二)网络特点
海外运营商网络具有一些独特的特点。
- DNS区域划分不问题:GeoLocation不均不准, (ECS (EDNS Client Subnet)不启动)
- 动态路由问题:变化频繁,受成本影响,会发生绕路问题,为了降本不择手段
- 连不通问题:同上
- wwy:“在我看来,国内和国外相比,中国更具备建设边缘云的能力,因为中国网络光纤的覆盖率足够,使得边缘节点具备很强的网络服务能力,从而能更好地提供各项服务,特别包括算力的服务。而反观全局,欧美因为网络部署早,都是铜线为主,传输速率有限,只有每个区域的中心节点具备强的服务能力;再看看东南亚,非洲,直接跳过了光纤时代,进入了移动互联网时代,而土地的私有化,使得大量基站间无线通信,网络质量看似4G,其实很一般。”
- 免流问题(TCP)
- CDN公司和ISP公司的竞争和合作
- Anycast
(三)相关数据
海外运营商网络的一些数据可以帮助我们更好地了解其情况。
四、成本和质量分析
(一)成本类问题
互联网运营涉及到多种成本问题。
- 带宽计费和95峰(商用)
- 国内官民补贴问题
- 国内大城市 - 边远地区补贴问题
(二)质量类问题
网络质量问题多数可转化为成本和监管问题,以下是具体情况。
- TCP速度 Throughput 受什么影响?
- QoS概述:https://www.youtube.com/watch?v=9bs_HZKZk7w&ab_channel=NajQazi
- QoS的必要性
- QoS is done by queues
- QoS is a per hop behavior
- TCP优先UDP劣后策略
- UDP Dynamic QoS Downgrade
- 电信级NAT/大规模NAT
- DNS劫持
- 国家级出口网关干扰
- 多出口问题
- 家庭宽带超售问题
- 单连接QoS限速问题
(三)IDC和公有云服务的许可和合规
云计算服务的许可和合规问题需要根据不同情况进行判断。
- 根据目前监管部门的态度,云计算服务中,
- 提供IaaS(基础设施即服务)和PaaS(平台即服务)需要取得IDC证
- 依托云服务平台的SaaS(软件即服务)应用开发属于软件服务,一般不需要取得IDC证
- 从云计算服务商业模式的角度看,看经营性,如果是公有云或者向外部提供私有云能力,属于经营,需要IDC证;如果是自建自用的私有云,不需要IDC证
五、数据和趋势
互联网的发展呈现出一些数据和趋势。
- IPv6
- c的vBRAS虚拟内网
3. 内容分发网络
一、网络类型概述
在互联网架构中,存在多种网络类型共同支撑着数据的传输与交换,下面为您介绍常见的网络类型。
(一)三线、双线网络
三线和双线网络常用于数据中心等场景,以提供更稳定、高速的网络连接。三线网络通常包含三种不同运营商的线路,能有效避免单一运营商网络故障或拥塞带来的问题;双线网络则是采用两种不同运营商的线路,在一定程度上提升网络的可靠性和访问速度。
(二)汇聚网络
汇聚网络起到承上启下的作用,它将多个接入层网络的数据汇聚起来,并转发到核心网络。汇聚网络可以对数据进行初步的处理和优化,减轻核心网络的负担,提高网络的整体性能。
(三)环网
环网是一种具有高可靠性的网络拓扑结构,网络中的各个节点通过环形链路连接在一起。当环网中的某一条链路出现故障时,数据可以通过另一个方向的链路继续传输,从而保证网络的正常运行,常用于对网络可靠性要求较高的场景。
4. 音视频网络
一、流式传输
流式传输是音视频网络中重要的传输方式,它能让用户在数据未完全下载的情况下就开始播放音视频内容,提升用户体验。主要包括以下两种流:
(一)UDP流
UDP(User Datagram Protocol)流具有低延迟的特点,它不保证数据的可靠传输,但在一些对实时性要求较高的音视频场景,如在线直播、实时游戏音视频等,UDP流能够快速地传输数据,减少画面和声音的卡顿。
(二)TCP流
TCP(Transmission Control Protocol)流则更注重数据传输的可靠性,它会确保数据准确无误地到达接收端。在对数据准确性要求高,但对实时性要求相对较低的音视频场景,如视频点播等,TCP流是更好的选择。
二、交互音视频
交互音视频让用户之间能够进行实时的音视频交流,在现代通信和社交中发挥着重要作用,其中 WebRTC 是关键技术。
(一)WebRTC
WebRTC(Web Real - Time Communication)是一种支持网页浏览器进行实时语音对话、视频通话和文件共享的技术。它无需安装任何插件,通过浏览器即可实现高质量的实时音视频通信,广泛应用于视频会议、在线教育、社交直播等领域。
三、SDP
SDP(Session Description Protocol)是一种用于描述多媒体会话的协议,在音视频网络中起着重要作用。它用于在会话的参与者之间交换会话信息,如媒体类型(音频、视频等)、编码格式、传输地址等。通过 SDP,不同的设备和系统能够了解彼此的能力和要求,从而建立起有效的音视频通信会话。
四、尽力而为传输
尽力而为传输是一种在网络中广泛采用的传输策略,在音视频网络中也不例外。它意味着网络会尽最大努力将数据从源端传输到目的端,但不保证数据的传输时间、顺序和完整性。在音视频传输中,这种传输方式可能会导致一定程度的丢包、延迟和抖动,但在大多数情况下,通过适当的技术手段(如缓存、重传等)可以在一定程度上缓解这些问题,以满足用户对音视频质量的基本需求。
4. 边缘/IoT/P2P网络
一、边缘的位置
边缘网络在整个网络架构中有着独特的位置,它与多个关键网络节点存在紧密联系,同时面临着一些特定的问题。
(一)与数据中心和网络节点的关系
需参考旧ppt明确Data Center和ISP/POP/IXP的具体关系,这有助于理解边缘网络在整个网络体系中的定位。
(二)边缘网络相关特性及问题
- MEC(Multi - Access Edge Computing):作为边缘计算的重要形式,MEC可在靠近用户的网络边缘提供计算资源,减少数据传输延迟。
- IoT(Internet of Things):其设备数量呈持续增长态势,给边缘网络带来了更多的数据处理和传输需求。
- 多出口:为数据传输提供了更多路径选择,但也增加了网络管理和优化的复杂性。
- P2P封禁问题:P2P(Peer - to - Peer)技术在数据共享等方面有优势,但可能因版权、安全等问题面临封禁。
- 跨省问题:需结合与jx的讨论结论,明确其产生的原因和后果,跨省的数据传输可能受地域政策、网络布局等因素影响。
二、边缘的设备
边缘设备是边缘网络的重要组成部分,以下是其主要特点:
(一)端口转发NAT
NAT(Network Address Translation)端口转发技术可实现内网设备与外网的通信,在边缘网络中,它能让多个内网设备共享一个公网IP地址,有效缓解公网IP地址不足的问题。
三、边缘的传输
边缘传输涉及成本、质量和规模等多个方面的考量。
(一)模型成本
- 带宽采购成本:获取网络带宽资源所需的费用,是边缘传输成本的重要组成部分。
- 商民用带宽价差:商用和民用带宽在价格和服务质量上存在差异,这会影响边缘网络的建设和运营成本。
- 供应规模和匹配难度:带宽供应的规模要与实际需求相匹配,然而在实际操作中,实现精准匹配存在一定难度。
- 家庭和小设备供应能力:家庭和小型设备作为边缘网络的数据源,其数据供应能力会影响整个边缘传输的效率。
- 宽带计费方式:不同的计费方式(如按流量、按带宽等)会对边缘传输成本产生影响。
- 跨运营商的影响:跨运营商的数据传输可能面临更高的成本和更复杂的网络状况。
(二)质量
- 海外选点优化空间:在海外设置边缘节点时,合理选择位置可优化网络传输质量,降低延迟。
- 海外跨网成本优化空间:包括专线和交换优化等方面,可有效降低海外跨网传输的成本。
- 海外动态路由的处理难度:海外网络环境复杂,动态路由的变化频繁,增加了路由处理的难度。
(三)规模
- 错峰优化空间:通过合理安排数据传输时间,利用网络的空闲时段进行数据传输,可提高网络资源的利用率。
- 市场规模影响:人口数量、供需关系和民族文化等因素会影响边缘网络的市场规模,进而影响边缘传输的规划和发展。
四、边缘的互联
边缘网络的互联模式多样,其中NAT是常见的一种。
(一)NAT
NAT在边缘互联中起到地址转换和网络隔离的作用,可实现不同网络之间的通信。
(二)其它互连模式
除NAT外,还存在其他互连模式,它们各自具有不同的特点和适用场景。
五、边缘的探测
(一)lvs ppt参考
可参考lvs ppt中的相关内容,了解边缘探测的方法和技术,通过有效的探测手段,能及时发现边缘网络中的问题,保障网络的稳定运行。
6. 端到端质量和体验
一、请求历程回顾
在探讨端到端质量和体验之前,有必要回顾相关请求的历程。
(一)对服务的请求
用户发起对各类服务的请求,这些服务涵盖了各种网络应用,如网页浏览、在线交易、云服务调用等。服务请求的处理流程涉及多个环节,从客户端发出请求,经过网络传输,到达服务器端进行处理,再将结果返回给客户端。
(二)对音视频的请求
音视频请求在当今互联网应用中日益重要,例如在线视频播放、实时视频通话、音频直播等。这类请求对网络的带宽、时延等性能指标有较高要求,其处理过程包括编码、传输、解码和播放等多个步骤。
二、质量相关因素
(一)性能指标
端到端的质量受多种性能指标的影响,以下是几个关键指标:
- 带宽:指网络传输数据的能力,单位通常为比特每秒(bps)。足够的带宽是保证音视频流畅播放、文件快速下载等应用的基础。
- 时延:指数据从发送端到接收端所经历的时间,包括传播时延、处理时延等。低时延对于实时性要求高的应用,如在线游戏、视频通话等至关重要。
- 丢包:指在数据传输过程中丢失的数据包数量。丢包会导致数据不完整,影响音视频的质量,甚至导致应用无法正常工作。
- Jitter:即抖动,指数据包到达时间的变化。较大的抖动会使音视频播放出现卡顿、不连贯等问题。
(二)分组交换本质及影响
分组交换是现代网络中常用的数据交换方式,它将数据分割成多个小的数据包进行传输。分组交换的本质对网络的时延、丢包和吞吐等方面有着重要影响:
- 时延:分组交换过程中,数据包需要经过多个节点的处理和转发,这会增加数据的传输时延。
- 丢包:在网络拥塞或节点故障时,部分数据包可能会被丢弃,从而导致丢包现象。
- 吞吐:分组交换的效率和网络资源的利用率会影响网络的吞吐量,即单位时间内能够传输的数据量。
7. 云服务与互联网
一、网络基础概念
(一)VPN/VPC/VLAN/VIP/vSwitch
VPN(虚拟专用网络)用于在公共网络上建立安全的专用连接,保障数据传输安全。VPC(虚拟专用云)是用户在公有云上自定义的逻辑隔离网络空间。VLAN(虚拟局域网)将一个物理局域网划分成多个逻辑子网,增强网络管理和安全性。VIP(虚拟IP地址)常用于负载均衡和高可用性方案。vSwitch(虚拟交换机)则是在虚拟化环境中实现虚拟网络设备之间通信的软件交换机。
(二)Cloud LB
Cloud LB(云负载均衡)是云服务中重要的组件,它可以将流量均匀分配到多个后端服务器,提高应用程序的可用性和性能,确保服务的稳定运行。
二、容器与编排技术
(一)Docker & Kubernetes
Docker 是一种轻量级的容器化技术,它可以将应用程序及其依赖打包成一个独立的容器,实现快速部署和资源隔离。Kubernetes 则是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序,能够高效地管理大规模的容器集群。
8. 现代应用层协议
一、基础概念
在深入了解现代应用层协议之前,需要先掌握一些基础概念,这些概念是构建复杂协议体系的基石。
(一)进程间通信
进程间通信(Inter - Process Communication,IPC)是指不同进程之间进行数据交换和协调工作的机制。在网络环境中,不同主机上的进程需要通过特定的协议和接口来实现通信,从而完成各种应用功能,如文件传输、远程登录等。
(二)端口
端口是计算机网络中用于标识不同应用程序或服务的编号。每个端口对应一个特定的服务或应用程序,通过端口号,操作系统可以将接收到的网络数据准确地分发到相应的应用程序中。例如,HTTP 服务通常使用 80 端口,HTTPS 服务使用 443 端口。
二、经典传输协议
经典传输协议为网络通信提供了基本的传输保障,它们在不同的场景下发挥着重要作用。
(一)UDP
UDP(User Datagram Protocol)是一种无连接的传输协议,它不保证数据的可靠传输,但具有低延迟、传输速度快的特点。UDP 适用于对实时性要求较高、对数据准确性要求相对较低的场景,如在线游戏、视频直播等。
(二)TCP
TCP(Transmission Control Protocol)是一种面向连接的、可靠的传输协议。它通过三次握手建立连接,确保数据的有序、准确传输,并具备流量控制、拥塞控制等机制,以适应不同的网络环境。TCP 广泛应用于对数据准确性要求较高的场景,如文件传输、网页浏览等。同时,它还涉及到服务质量(QoE)和连接管理等方面的内容,以提供更好的用户体验。
三、Web 协议和 HTTP
Web 协议是构建互联网应用的基础,其中 HTTP 是最核心的协议之一。目前此处内容暂未详细展开,后续可进一步补充 HTTP 协议的具体内容,如 HTTP 的工作原理、请求和响应格式、不同版本的特点等。
四、现代发展
随着互联网技术的不断发展,应用层协议也在不断演进,以满足日益增长的需求。
(一)HTTP/2
HTTP/2 是 HTTP 协议的下一代版本,它在性能上有了显著提升。HTTP/2 采用二进制分帧、多路复用、头部压缩等技术,提高了数据传输效率,减少了延迟,使得网页加载速度更快,尤其适用于高并发的 Web 应用场景。
(二)QUIC
QUIC(Quick UDP Internet Connections)是一种基于 UDP 的传输协议,旨在提供更快、更可靠的网络连接。QUIC 结合了 TCP 的可靠性和 UDP 的低延迟特性,同时解决了 TCP 在拥塞控制和连接迁移方面的一些问题。它在移动网络和实时应用中具有很大的优势,有望成为未来网络通信的重要协议。
五、自研协议
在一些特定的应用场景中,为了满足特殊的业务需求,企业或组织会自研二进制协议和序列化技术。
(一)二进制协议和序列化
二进制协议是一种以二进制形式表示数据的协议,与文本协议相比,它具有更高的传输效率和更小的带宽占用。序列化则是将数据对象转换为二进制流的过程,以便在网络中传输或存储。通过自研二进制协议和序列化技术,可以根据具体业务需求进行定制化设计,提高系统的性能和安全性。
9. 现代物理和链路层协议
一、协议概述
现代物理和链路层协议是构建网络通信基础的重要组成部分,它们确保了数据在物理介质上的可靠传输以及相邻节点间的有效通信。
二、常见技术列举
(一)IPv6
IPv6 是互联网协议的第六版,旨在解决 IPv4 地址枯竭的问题。它提供了庞大的地址空间,能满足未来物联网等大量设备联网的需求。同时,IPv6 在安全性、移动性等方面也有显著改进,是未来网络发展的重要基础。
(二)5G
5G 即第五代移动通信技术,具有高速率、低延迟、大容量等特点。在物理和链路层,5G 采用了新的空口技术和无线接入技术,能够实现更高效的数据传输,推动了移动互联网、工业互联网等领域的发展。
(三)卫星通信
卫星通信通过人造地球卫星作为中继站,实现地球上不同地点之间的通信。它不受地理条件限制,可覆盖全球范围,在远程通信、应急通信等场景中发挥着重要作用。其物理和链路层协议需要考虑卫星与地面站之间的信号传播特性、轨道运动等因素。
10. 统计和测量
统计数据
- 数据库,报告
平台和产品
- CloudFlare Radar https://radar.cloudflare.com/
- ASN Lookup https://hackertarget.com/as-ip-lookup/
- CAIDA (www.caida.org) - 应用互联网数据分析中心
- Cloudflare Speed Test https://speed.cloudflare.com/
- zhongkeyuan
- ThousandEyes
- CatchPoint
- DataDog
- jianxiong那个
测量工具
- ping / traceroute / mtr
- dig / nslookup
- curl
- Best Trace (try m.museivaticani.va)
11. 安全
对称密码学和公钥密码学
安全层
- SSL/TLS
数字签名
现实信任和权威
- 信任的基础: CA / Root DNS / ICANN
- Key Distribution
- DNS污染
- HTTP(S)中间人攻击
参考文献
参考文献
- https://www.linode.com/zh/blog/networking/the-importance-of-ip-peering-in-cloud-computing/
- 中国四大骨干网和三大运营商网络是什么关系? https://blog.csdn.net/sinat_36458870/article/details/129700238
- 大话中国骨干网 https://www.ithome.com/0/523/947.htm
- 中国大陆目前国际网络的建设状况 https://zhuanlan.zhihu.com/p/64467370
- 海外PCDN是否有足够收益?
- 海外边缘环境介绍
- https://macronetservices.com/who-are-the-leading-global-tier-1-isps/
- 浅谈中国大陆各运营商链路 https://blog.alanyhq.com/archives/102
- Autonomous System Relationship and Interdomain Routing https://www.omscs-notes.com/computer-networks/autonomous-system-relationships-and-interdomain-routing/
- Tier 1 ISPs: What They Are and Why They Are Important https://www.gin.ntt.net/wp-content/uploads/2020/01/IDC_Tier1_ISPs.pdf
备选主题
- 信任的基础: CA / Root DNS / ICANN
笔记
备选主题
- 目标和定位:IP/DHCP/ICMP/URL/DNS