IPVS之路由转发模式

如下ipvsadm配置命令：

$ ipvsadm -A -t 207.175.44.110:80 -s rr
$ ipvsadm -a -t 207.175.44.110:80 -r 192.168.10.1:80 -g

选项-g（–gatewaying）即指定使用Direct-routing转发模式。由ipvsadm-1.29源码中的选项解析函数parse_options可知，-g对应着Direct-routing模式，使用标志IP_VS_CONN_F_DROUTE标识。

static int parse_options(int argc, char **argv, struct ipvs_command_entry *ce, unsigned int *options, unsigned int *format)
{
    while ((c=poptGetNextOpt(context)) >= 0){
        switch (c) {
        case 'g':
            set_option(options, OPT_FORWARD);
            ce->dest.conn_flags = IP_VS_CONN_F_DROUTE;
            break;

连接绑定转发函数

在连接新建函数ip_vs_conn_new中，对于新创建的连接，使用函数ip_vs_bind_xmit为其绑定发送函数。

struct ip_vs_conn *ip_vs_conn_new(const struct ip_vs_conn_param *p, int dest_af, const union nf_inet_addr *daddr, 
			__be16 dport, unsigned int flags, struct ip_vs_dest *dest, __u32 fwmark)
{
    struct ip_vs_conn *cp;
    cp = kmem_cache_alloc(ip_vs_conn_cachep, GFP_ATOMIC);

#ifdef CONFIG_IP_VS_IPV6
    if (p->af == AF_INET6)
        ip_vs_bind_xmit_v6(cp);
    else
#endif
        ip_vs_bind_xmit(cp);

对于转发模式为Direct-Routing的连接，其传输函数设置为ip_vs_dr_xmit。

/* Bind a connection entry with the corresponding packet_xmit. Called by ip_vs_conn_new. */
static inline void ip_vs_bind_xmit(struct ip_vs_conn *cp)
{ 
    switch (IP_VS_FWD_METHOD(cp)) {
    case IP_VS_CONN_F_DROUTE:
        cp->packet_xmit = ip_vs_dr_xmit;
        break;

请求报文（Direct-Routing发送处理）

在netfilter的hook点NF_INET_LOCAL_IN或者NF_INET_LOCAL_OUT处理客户端请求报文时，函数ip_vs_in在进行完相应的处理之后，使用连接（如果连接不存在，将新建连接）的packet_xmit函数指针执行发送操作。对于Direct-Routing转发模式，其为函数ip_vs_dr_xmit。

static unsigned int ip_vs_in(struct netns_ipvs *ipvs, unsigned int hooknum, struct sk_buff *skb, int af)
{

    ip_vs_set_state(cp, IP_VS_DIR_INPUT, skb, pd);
    if (cp->packet_xmit)
        ret = cp->packet_xmit(skb, cp, pp, &iph);
        /* do not touch skb anymore */

以下看一下Direct-Routing发送函数ip_vs_dr_xmit，首先使用出口路由查找函数__ip_vs_get_out_rt，更新skb中的路由缓存，关于IPVS路由函数请参考：https://blog.csdn.net/sinat_20184565/article/details/102410129。

其次对于路由目的地为本地的报文，使用函数ip_vs_send_or_cont进行处理。否则，对于非本地报文，计算IP头部校验和，最后也是使用函数ip_vs_send_or_cont进行处理。在进行转发之前，设置忽略禁止分片标志ignore_df，以避免在分片函数ip_fragment中，遇到IP报头设置有DF标志的报文，并且其长度大于MTU，而引发icmp_send函数发送代码为ICMP_FRAG_NEEDED的ICMP报文。

int ip_vs_dr_xmit(struct sk_buff *skb, struct ip_vs_conn *cp, struct ip_vs_protocol *pp, struct ip_vs_iphdr *ipvsh)
{
    local = __ip_vs_get_out_rt(cp->ipvs, cp->af, skb, cp->dest, cp->daddr.ip,
                   IP_VS_RT_MODE_LOCAL | IP_VS_RT_MODE_NON_LOCAL | IP_VS_RT_MODE_KNOWN_NH, NULL, ipvsh);
    if (local < 0)
        goto tx_error;
    if (local)
        return ip_vs_send_or_cont(NFPROTO_IPV4, skb, cp, 1);

    ip_send_check(ip_hdr(skb));

    /* Another hack: avoid icmp_send in ip_fragment */
    skb->ignore_df = 1;

    ip_vs_send_or_cont(NFPROTO_IPV4, skb, cp, 0);

看一下最终的发送处理函数ip_vs_send_or_cont，由以上介绍可知，最后一个参数local标识当前报文的目的地是本机还是外部主机。对于本机，不做处理，仅返回NF_ACCEPT交由协议栈进行处理。对于非本机报文，执行netfilter的NF_INET_LOCAL_OUT点的hook函数，最后由dst_output执行发送，其实际上将调用ip_output执行。

/* return NF_STOLEN (sent) or NF_ACCEPT if local=1 (not sent) */
static inline int ip_vs_send_or_cont(int pf, struct sk_buff *skb, struct ip_vs_conn *cp, int local)
{
    int ret = NF_STOLEN;

    skb->ipvs_property = 1;
    if (likely(!(cp->flags & IP_VS_CONN_F_NFCT)))
        ip_vs_notrack(skb);
    if (!local) {
        ip_vs_drop_early_demux_sk(skb);
        skb_forward_csum(skb);
        NF_HOOK(pf, NF_INET_LOCAL_OUT, cp->ipvs->net, NULL, skb,
            NULL, skb_dst(skb)->dev, dst_output);
    } else
        ret = NF_ACCEPT;

内核版本 4.15