2. 海内外互联网的运营

一、拓扑和特性对比

（一）3 - Trees vs. Layered Mesh

前文提及分层运营，不同的网络拓扑结构在海内外互联网运营中有着不同的体现。

（二）网络模型示意

国内三大运营商网络模型示意

海外分层和互联网络模型示意

二、国内运营商网络情况

（一）发展历史

国内运营商网络的发展历经多个阶段，每个阶段都有其重要意义。

  1. 前邮电时代
    • 最早的互联网接入——科研机构拉来国际专线
    • 最早的大网——中科院（CSTNET），教育（CERNET）
  2. 邮政和电信时期
    • 公共互联网的起源——邮电部和ChinaNet AS
    • “邮电分家”
    • “一张网不够”——CN2
  3. 市场经济和军转民阶段
    • 联通的诞生——电子工业部
  4. 反垄断阶段
    • “电信的拆分”——网通CNCNET的成立，China169大内网
    • “南电信北联通”——电信经营CDMA，网通并入联通
    • “两强问题”——移动的崛起CMNET——铁通的并入。后起无服务器资源（下载站），但4g/5g有优势。后来并铁通，大内网开始，网内给够带宽，做大后网间逼降价
  5. 后三大运营商时代
    • “四级办广电——第四大运营商”
    • 小运营商情况
      • 广电CBNNET（跨省问题），歌华宽带，天威，华数
      • 鹏博士（宽带通），北京电信通，长城宽带（无骨干网牌照）
      • 方正宽带

国内运营商历史

了解骨干网的目的

（二）网络架构

以电信为例，国内运营商网络架构具有一定的特点。

  1. 分层结构：城域/省网/汇聚/核心，后取消省网
  2. 核心位置
    • 北京、上海、广州，是ChinaNet的超级核心
    • 除了超级核心之外，ChinaNet还有天津、西安等普通核心
    • 所有核心之间，采用Full - Mesh连接。国际出入口，以及运营商之间的互联互通，基本上都在核心层
  3. 汇聚层情况
    • 汇聚层一般都在各省省会或第二大城市，采用双方向互联，分别连到一个超级核心和一个普通核心，有的省份会三方向互联
    • 接入层，就是汇聚层到各个地市城域网的接口
  4. 网络质量
    • ChinaNet 85%，晚上卡顿，丢包
    • CN2 15%，预期100%，精品网，质量好，又有细分
    • 政企网

其他运营商情况：简介联通和移动的情况。

（三）网间互联问题及解决方法

国内运营商网络在互联过程中面临着多种问题，以下是具体情况及解决办法。

  1. 南北互联问题：（可进一步展开说明）
  2. 网间互联问题
    • 移动向电信和联通付费 (8万元/Gbps/月)
    • 政策解决方法，互联网公司业务解决方法
  3. 小运营商连通性问题
    • 企业合并
    • 争取政策
    • 流量透传
      • 非规范的网内代理
      • 运营商互联/用户联入
      • 如用鹏博士接入上网，xhs看我ip是”共享地址”/“本地链路地址”
  4. 网间结算价格问题
    • 工信部22号文：2月24日工信部发布《关于调整互联网骨干网网间结算政策的通知》（工信部信管[2020] 22号），要求中移动与中联通和中电信对等互联，互不结算；四家公益性网络免费互联；降低三大对中国广电、中信的结算费用
    • 虽然工信部在推动跨网结算双向免费，但两三年前电信和联通还收移动9万/G/月，向中小运营商收20万 - 100万元/Gbps/月。这个隐性成本只能逐步降低，不可能通过一纸文件立即消失
    • 跨省结算问题
  5. 互联问题的解决方法
    • 分省分运营商设立服务器
    • 智能DNS
    • 内容分发网络(CDN)
    • 双线/多线/BGP服务器

（四）国际出口带宽情况

国内运营商网络的国际出口带宽是连接海外网络的重要环节。

  1. 基本情况
    • 国内主流网络运营商国际连接线路简谈
    • 出口位置
      • 北京负责地区：北京、河北等
      • 上海负责地区：上海、浙江等
      • 广州负责地区：广东、福建等
    • 总出口：出口带宽共有 8,946,570 Mbps (=8.9Tbps)（第43次《中国互联网络发展状况统计报告》）
      • 中国电信：4,537,680 Mbps
        • 出口：北京/上海/广州；香港
        • 进出口路由路径，分为三个品级：163 网（CN1）、CN2 GT（Global Transfer 又称半程 CN2 ）、CN2 GIA（Global Internet Access 又称纯 CN2/全程 CN2）
        • 单程CN2，与往返CN2出口
        • 虽然出口宽带总量最大，且人均出口带宽排行第二，但电信 163 网连接国际网络，会在高峰时段，在路由出海前的最后一跳，根据优先级，策略性地人为丢包，以减轻对主网的负担(QOS)，这让普通电信用户糟糕的外网访问质量雪上加霜
        • "普通用户怎么可能用得上CN2，电信最大的出海线路是163骨干网，对应路由ip都是202.97，CN2是给高端用户的。出海线路走不走CN2，联通和移动用户走不走CN2也是看海外机房买不买这个线路的。联通移动都有自己的出海线路。联通A网的出海线路是最好的，其次是联通的169骨干网。移动的出海线路也是有的只是移动在海外也有自己的网络，所以不是对应某个线路，所有线路均是走境内9808境外58453。你所说的三网用户汇集走cn2，目前也只有少量云服务商提供这种服务，据我所知搬瓦工是其中之一。"
      • 中国联通：2,234,738 Mbps
      • 中国移动：1,997,000 Mbps
  2. 人均出口情况
    • 中国联通 ＞ 中国电信 ＞ 中国移动
    • 晚高峰拥堵
  3. 互联带宽总结
    • 据互联网流传的可能是中国电信内部培训资料显示，到2010年时，ChinaNet与国际互联网互联带宽为440G、省际互联带宽为13970G、与国内其他互联网骨干网互联带宽约450G、与CN2互联带宽为140G
  4. 机房类型

（五）国内数据中心的运营商线路

国内数据中心的运营商线路有多种类型，以满足不同的需求。

  • 单线机房（大带宽）
  • 双线机房（单网卡双IP，双网卡双IP）
  • 三线机房（单网卡3IP）
  • BGP机房（静态和动态）

（六）中国网络特性

中国网络具有以下特性，这些特性影响着网络的运营和发展。

  • 所有者归国家
  • 分三大运营商
  • 严格分省经营
  • 政策考虑优于市场考虑
  • 各地发展较均衡
  • 发达地区补贴落后地区
  • 商用补贴全公司
  • 有后发优势，也有先发包袱

三、海外运营商网络情况

（一）网络格局

海外运营商网络有着不同的格局，以下是相关参考资料。

（二）网络特点

海外运营商网络具有一些独特的特点。

  • DNS区域划分不问题：GeoLocation不均不准， (ECS (EDNS Client Subnet)不启动)
  • 动态路由问题：变化频繁，受成本影响，会发生绕路问题，为了降本不择手段
  • 连不通问题：同上
  • wwy：“在我看来，国内和国外相比，中国更具备建设边缘云的能力，因为中国网络光纤的覆盖率足够，使得边缘节点具备很强的网络服务能力，从而能更好地提供各项服务，特别包括算力的服务。而反观全局，欧美因为网络部署早，都是铜线为主，传输速率有限，只有每个区域的中心节点具备强的服务能力；再看看东南亚，非洲，直接跳过了光纤时代，进入了移动互联网时代，而土地的私有化，使得大量基站间无线通信，网络质量看似4G，其实很一般。”
  • 免流问题（TCP）
  • CDN公司和ISP公司的竞争和合作
  • Anycast

（三）相关数据

海外运营商网络的一些数据可以帮助我们更好地了解其情况。

四、成本和质量分析

（一）成本类问题

互联网运营涉及到多种成本问题。

  • 带宽计费和95峰（商用）
  • 国内官民补贴问题
  • 国内大城市 - 边远地区补贴问题

（二）质量类问题

网络质量问题多数可转化为成本和监管问题，以下是具体情况。

  • TCP速度 Throughput 受什么影响？
  • QoS概述：https://www.youtube.com/watch?v=9bs_HZKZk7w&ab_channel=NajQazi
    • QoS的必要性
    • QoS is done by queues
    • QoS is a per hop behavior
    • TCP优先UDP劣后策略
  • UDP Dynamic QoS Downgrade
  • 电信级NAT/大规模NAT
  • DNS劫持
  • 国家级出口网关干扰
  • 多出口问题
  • 家庭宽带超售问题
  • 单连接QoS限速问题

（三）IDC和公有云服务的许可和合规

云计算服务的许可和合规问题需要根据不同情况进行判断。

  • 根据目前监管部门的态度，云计算服务中，
    • 提供IaaS（基础设施即服务）和PaaS（平台即服务）需要取得IDC证
    • 依托云服务平台的SaaS（软件即服务）应用开发属于软件服务，一般不需要取得IDC证
    • 从云计算服务商业模式的角度看，看经营性，如果是公有云或者向外部提供私有云能力，属于经营，需要IDC证；如果是自建自用的私有云，不需要IDC证

五、数据和趋势

互联网的发展呈现出一些数据和趋势。

  • IPv6
  • c的vBRAS虚拟内网