更加精确的TCP Westwood拥塞控制算法

Westwood算法控制的是在从快速恢复阶段退出时的拥塞窗口的值。原理上讲，这时的窗口值应该是一个不包括队列缓存在内的BDP，即最大带宽与最小RTT的乘积。
        问题是如何求最大带宽。
        标准的Westwood算法做的非常粗糙，它将一个TCP连接的生命周期分解为一段一段的采样周期，每一个采样周期内采集被ACK的字节数，然后除以采样周期的间隔，结果做低通滤波(其实就是移动指数平均)，就是带宽。
        我们来看一下Westwood是如何在采样周期内采集ACK字节数的。
        然而，4.9版本之前的内核对于Linux的TCP实现，在开放给拥塞控制回调的接口中，只能通过当前的snd_una与上次记录的snd_una之间的差值来估算被ACK的字节数，说“估算”这个词的意思是，在拥塞控制回调中，关于SACK的信息会丢失。
        比如说收到一个ACK，如果它是重复的ACK，那么在拥塞控制回调中将无法取到任何其携带的SACK信息。虽然说一个重复的ACK可能携带了一大段SACK，然而对于拥塞控制回调而言，它看到的只是一个没有推进snd_una的ACK。本来，携带SACK的ACK段是想告诉拥塞模块对端其实收到了N个字节的数据，只不过没有按序，按照BDP的观点，这些乱序的数据也应该计入BDP的，然而却由于拥塞模块听不到这个信息而被忽略。我们来看一下这个逻辑：

static inline u32 westwood_acked_count(struct sock *sk){    const struct tcp_sock *tp = tcp_sk(sk);    struct westwood *w = inet_csk_ca(sk);    w->cumul_ack = tp->snd_una - w->snd_una;    /* If cumul_ack is 0 this is a dupack since it's not moving     * tp->snd_una.     */    if (!w->cumul_ack) {        // 如果当前ACK是没有推进snd_una的重复ACK，仅计入一个段，忽略SACK带来的BDP排空。        w->accounted += tp->mss_cache;        w->cumul_ack = tp->mss_cache;    }    if (w->cumul_ack > tp->mss_cache) {        /* Partial or delayed ack */        if (w->accounted >= w->cumul_ack) {            w->accounted -= w->cumul_ack;            w->cumul_ack = tp->mss_cache;        } else {            w->cumul_ack -= w->accounted;            w->accounted = 0;        }    }    w->snd_una = tp->snd_una;    return w->cumul_ack;}

可见，上述针对ACK数据的计数是极其粗糙的！
        然而这不是Westwood的错，这是Linux TCP实现的错！

可以看到，只有在特定的点，才会进入外挂的拥塞控制模块的回调函数，对于在非Open的拥塞控制状态中，系统会调用私有的tcp_fastretrans_alert函数，该函数中就是例行的PRR降窗过程和重传逻辑了，无法被拥塞控制模块控制。

        后来在Linux内核升级时，将重传逻辑从tcp_fastretrans_alert中剥离了出来，但是那只是代码结构的调整，整个非Open状态依然是拥塞控制模块所不能干预的。

        也许你会说，可以在tcp_ca_event回调中进行非Open状态的拥塞控制，事实上Westwood等算法也是这么做的，但是即便如此，tcp_ca_event回调的传入参数依然无法满足Westwood的真实所需。但是BBR算法的引入，改变了这一切：

static void tcp_cong_control(struct sock *sk, u32 ack, u32 prior_in_flight, u32 acked_sacked,                         int flag, const struct rate_sample *rs){    const struct inet_connection_sock *icsk = inet_csk(sk);    // 新增了一个cong_control回调函数。在拥塞状态无关的情况下无条件接管所有的逻辑。    if (icsk->icsk_ca_ops->cong_control) {        icsk->icsk_ca_ops->cong_control(sk, rs);        // 然后直接返回。        return;    }    // 常规的逻辑。类似CUBIC等算法均会调用常规逻辑。    if (tcp_in_cwnd_reduction(sk)) {    /* Reduce cwnd if state mandates */        tcp_cwnd_reduction(sk, acked_sacked, 1);    } else if (tcp_may_raise_cwnd(sk, flag)) {        /* Advance cwnd if state allows */        tcp_cong_avoid(sk, ack, prior_in_flight);    }    tcp_update_pacing_rate(sk);}

我认为，抛开BBR算法本身不谈，以上逻辑的引入是BBR为Linux TCP实现带来的最有价值礼物。这个大礼包中最重要的也许要算struct rate_sample参数了。我们看下这个参数包含什么：

/* A rate sample measures the number of (original/retransmitted) data * packets delivered "delivered" over an interval of time "interval_us". * The tcp_rate.c code fills in the rate sample, and congestion * control modules that define a cong_control function to run at the end * of ACK processing can optionally chose to consult this sample when * setting cwnd and pacing rate. * A sample is invalid if "delivered" or "interval_us" is negative. */struct rate_sample {    struct    skb_mstamp prior_mstamp; /* starting timestamp for interval */    u32  prior_delivered;    /* tp->delivered at "prior_mstamp" */    s32  delivered;        /* number of packets delivered over interval */    long interval_us;   /* time for tp->delivered to incr "delivered" */    long rtt_us;        /* RTT of last (S)ACKed packet (or -1) */    int  losses;        /* number of packets marked lost upon ACK */    u32  acked_sacked;    /* number of packets newly (S)ACKed upon ACK */    u32  prior_in_flight;   /* in flight before this ACK */    bool is_app_limited;    /* is sample from packet with bubble in pipe? */    bool is_retrans;    /* is sample from retransmission? */};

已经携带了足够的注释，我就不解释了。对于Westwood而言，最重要的或许是acked_sacked参数了。
        好了，现在开始修改Westwood的实现：
1.去掉既有的带宽统计逻辑：

static void tcp_westwood_event(struct sock *sk, enum tcp_ca_event event){    struct tcp_sock *tp = tcp_sk(sk);    struct westwood *w = inet_csk_ca(sk);    switch (event) {    /*     * 不再需要     */    /*    case CA_EVENT_FAST_ACK:        westwood_fast_bw(sk);        break;    */    case CA_EVENT_COMPLETE_CWR:        tp->snd_cwnd = tp->snd_ssthresh = tcp_westwood_bw_rttmin(sk);        break;    case CA_EVENT_LOSS:        tp->snd_ssthresh = tcp_westwood_bw_rttmin(sk);        /* Update RTT_min when next ack arrives */        w->reset_rtt_min = 1;        break;    /*     * 不再需要     */    /*    case CA_EVENT_SLOW_ACK:        westwood_update_window(sk);        w->bk += westwood_acked_count(sk);        update_rtt_min(w);        break;    */    default:        /* don't care */        break;    }}

2.加入新的回调函数和新的带宽统计逻辑
2.1.加入一个新的回调

static struct tcp_congestion_ops tcp_westwood __read_mostly = {        .init           = tcp_westwood_init,        .ssthresh       = tcp_reno_ssthresh,        .cong_collect   = westwood_collect,        .cong_avoid     = tcp_reno_cong_avoid,        ...

添加一个新回调的用意在于不改变原有的BBR以及我修改过的CDG等算法的调用逻辑，因此在tcp_cong_control中需要增加对该回调的调用：

static void tcp_cong_control(struct sock *sk, u32 ack, u32 prior_in_flight, u32 acked_sacked,                         int flag, const struct rate_sample *rs){    const struct inet_connection_sock *icsk = inet_csk(sk);    // 新增了一个cong_control回调函数。在拥塞状态无关的情况下无条件接管所有的逻辑。    if (icsk->icsk_ca_ops->cong_control) {        icsk->icsk_ca_ops->cong_control(sk, rs);        // 然后直接返回。        return;    }        if (icsk->icsk_ca_ops->cong_collect) {        icsk->icsk_ca_ops->cong_collect(sk, rs);        // 并不返回。fall through！    }    // 常规的逻辑。类似CUBIC等算法均会调用常规逻辑。    ...}

2.2.实现新增的回调

void westwood_collect(struct sock *sk, struct rate_sample *rs){        struct tcp_sock *tp = tcp_sk(sk);        struct westwood *w = inet_csk_ca(sk);        westwood_update_window(sk);        // 使用实实在在的acked_sacked计数，而不是估计计数        w->bk += rs->acked_sacked * tp->mss_cache;        update_rtt_min(w);}

以上就是对Westwood的修改，使它对带宽的统计更加精确。