0、背景1、工具选择2、搭建流程
2.1 Linux tc 简介2.2 弱网搭建思路2.3 完整代码展示 0、背景
笔者有一个需要搭建弱网环境来复现某个网络问题的需求,因此开始在网络中寻找能够快速搭建弱网环境的方式。
不同应用对于弱网环境的定义是不同的,需要根据具体的应用场景进行划分。但一般意义而言,对于弱网环境的测试主要集中于对带宽、丢包、延时等方面的模拟,来还原当用户网络环境较差时的情况。
弱网环境搭建可以分为客户端和服务端,客户端模拟弱网环境主要是通过控制移动设备的上下行流量来实现,比如腾讯的 QNET;客户端一般也可以是 Windows 客户端,常见的搭建工具有 Network Emulator;而在服务端(这里指Linux服务器),常用的有 Facebook 的 ATC。
1、工具选择通过调研,市面上其实已经有许多现成的易于使用的工具,但是由于灵活性及可靠性的要求,使用现有工具不利于排查问题,因此最终还是选择了 tc 及 iptables 辅助的方式来进行搭建。
这里没有选择 ATC 的原因主要还是因为 ATC 非 Linux 自带的工具,可能会存在版本等问题,但如果为了快速搭建弱网环境还是建议选择 ATC。
2、搭建流程 2.1 Linux tc 简介因为选择了 tc 作为搭建工具,这里简单的介绍一下 Linux tc :
Linux操作系统中的流量控制器TC(Traffic Control)用于Linux内核的流量控制,主要是通过在输出端口处建立一个队列来实现流量控制。接收包从输入接口进来后,经过流量限制丢弃不符合规定的数据包,由输入多路分配器进行判断选择。
一般只能限制网卡发送的数据包,不能限制网卡接收的数据包,所以可以通过改变发送次序来控制传输速率。Linux流量控制主要是在输出接口排列时进行处理和实现的。
简单来说,tc 就是一个流量控制器,可以实现限速、流量整形等功能,主要原理是通过设置不同类型的队列,来控制数据包发送的速率和优先级,达到流量控制的效果。
在 tc 中,对流量的处理由三种对象控制,qdisc(排队规则),class(类),filter(分类器)
qdisc : qdisc 是 queueing discipline 的缩写。qdisc 的含义是,当内核需要通过配置了 qdisc 的网卡发送数据包时,必须根据 qdisc 的规则将数据包放入队列中,然后内核从队列中取出数据包发送。qdisc 可以分为可分类与不可分类两种,不可分类的有pfifo(最简单的先进先出策略)、red(随机丢弃部分数据包)、tbf(内部采用令牌桶, 主要用于限速)等;可分类的包括HTB(主要用于带宽控制)、PRIO(用于优先级管理)。更详细的解释可参考这篇文章
class :对于不同的数据流可能需要不同的控制策略,因此部分 qdisc 可以包含一些类别,不同的类别中还可以包含下一层 qdisc 从而形成一棵策略树。
filter : filter 本该翻译为过滤器,但由于它与 class(类) 的关系,将它译为了分类器。顾名思义,filter用于为数据包分类,决定它们按照哪种 qdisc 进入队列。需要注意的是,filter 位于 qdisc内部,它们不能作为主体。
综上,qdisc 可以添加类,类(Class)组成一个树,由它们为数据包排队。此外,每个类都有一个叶子 qdisc,默认情况下,这个叶子 qdisc 使用pfifo的方式排队,也可以使用其它类型的 qdisc 代替。一般有有三种方式——tc filter、ToS、skb 为数据包归类,常见的一般是 tc filter。
2.2 弱网搭建思路弱网搭建主要是使用 tc 的基本功能来还原弱网的情况,以下将讲解几个常用的命令:
首先是带宽限制功能,一般来说可以用 htb 或者 tbf 来实现,但因为 tbf 是无类别的,无法添加子类规则,所以选择了 htb 进行限速。
首先为网卡添加一个 htb 队列,下述命令指定了该队列的类别,使用”major:minor”这样的形式来标识一个队列,其中major和minor都是数字。default xx 是 htb 特有的参数,是为了指定在默认情况下,数据包会被分给哪一个子类。
tc qdisc add dev ${adapter} root handle 10: htb default ${handle_id} r2q 100
然后为该父队列添加一个子类,子类的 major 必须与父类的 major 相同,并且指定 rate limit,可以用 Mbit、Kbit 等作为单位。
tc class add dev ${adapter} parent 10: classid 10:1 htb rate 1000mbit ceil 1000mbit
在进行限速之后,可以通过如下命令设置数据包的发送延迟,delay_time 是发送延迟,而后面紧跟的 10ms 代表实际发送中会有 10ms 的波动,从而模拟更真实的情况。
tc qdisc add dev ${adapter} parent 10:20 handle 101: netem delay ${delay_time}ms 10ms distribution normal
也可以通过如下命令增加丢包频率、包损坏、乱序等规则,模拟出需要的弱网情况。
# 设置丢包频率tc qdisc add dev ${adapter} parent 101: handle 102: netem loss ${loss}%# 设置包重复tc qdisc add dev ${adapter} parent 10:20 handle 103: netem duplicate ${duplicate}%# 设置包损坏tc qdisc add dev ${adapter} parent 10:20 handle 104: netem corrupt ${corrupt}%# 设置数据包乱序tc qdisc add dev ${adapter} parent 10:20 handle 105: netem reorder ${reorder}% 50%
使用 iptables 模拟一些极端网络情况,
2.3 完整代码展示完整的代码如下所示,tc 的命令并不是特别复杂,需要注意的父类子类之间的关系,以及如何设置 qdisc 和 class
#!/bin/bash# 网卡adapter="eth0"handle_id=20# 初始化参数rate_limit=500delay_time=30loss=1duplicate=0corrupt=0reorder=0default_ip="0.0.0.0"is_ip_filter=0default_port=443is_port_filter=0# 删除之前规则 (root)tc qdisc del dev ${adapter} root### 设置tc规则 (2、指定端口 4、iptables规则)tc qdisc add dev ${adapter} root handle 10: htb default ${handle_id} r2q 100# 设置限速(非严格限速)tc class add dev ${adapter} parent 10: classid 10:1 htb rate 1000mbit ceil 1000mbittc class add dev ${adapter} parent 10:1 classid 10:10 htb rate 1000mbit ceil 1000mbit tc class add dev ${adapter} parent 10:1 classid 10:20 htb rate ${rate_limit}Kbit ceil ${rate_limit}Kbit# 设置过滤器(ip & 端口过滤)if [ ${handle_id} -eq 10 ];then if [ ${is_ip_filter} -eq 1 ];then tc filter add dev ${adapter} protocol ip parent 10:0 prio 1 u32 match ip dst ${default_ip} flowid 10:20 fi if [ ${is_port_filter} -eq 1 ];then tc filter add dev ${adapter} protocol ip parent 10:0 prio 1 u32 match ip sport ${default_port} 0xffff flowid 10:20 fifi# 设置延迟tc qdisc add dev ${adapter} parent 10:20 handle 101: netem delay ${delay_time}ms 10ms distribution normal# 设置丢包频率tc qdisc add dev ${adapter} parent 101: handle 102: netem loss ${loss}%# 设置包重复tc qdisc add dev ${adapter} parent 10:20 handle 103: netem duplicate ${duplicate}%# 设置包损坏tc qdisc add dev ${adapter} parent 10:20 handle 104: netem corrupt ${corrupt}%# 设置数据包乱序tc qdisc add dev ${adapter} parent 10:20 handle 105: netem reorder ${reorder}% 50%#iptables -A OUTPUT -p tcp --sport 8080 -j DROP