PACKET套接口扇出组

网络协议 专栏收录该内容
23 篇文章 1 订阅

对于使用内存映射(MMAP)方式与应用层交互报文的AF_PACKET类型套接口,可以设置扇出组(FANOUT)。接收到的数据帧可以在组内选择任一的套接口使用,应用层可运行多个线程,处理组内不同的套接口。


扇出组创建

使用setsockopt函数创建扇出组,或者加入一个已经存在的组。如下所示,其参数option分为三个字段:fanout_flags、fanout_type和fanout_grp_id。内核在处理时,首先判断fanout_grp_id是否已经存在,不存在的话,创建一个新的扇出组,将此套接口加入到新组中。如果存在,并且全部满足以下条件,将此套接口加入到已有组中;

  • 此套接口的网络命名空间必须与组的网络命名空间相同;
  • setsockopt的fanout_flags参数必须与组的fanout_flags参数相同;
  • setsockopt的扇出类型(fanout_type参数)必须与组的类型相同;
  • 此套接口所监听的协议类型必须与组的监听类型一致;
  • 此套接口所监听的网络设备必须与组的监听设备一致。

uint32 option = (fanout_flags  (31-24) | 
                 fanout_type   (23-16) | 
                 fanout_grp_id (15-0));
setsockopt(sockfd, SOL_PACKET, PACKET_FANOUT, &option, sizeof(option));

由于fanout_grp_id为16bits,将每个网络命名空间中的组个数限制在了65536个。


扇出类型

对于扇出类型,目前内核支持以下8种类型:

1)PACKET_FANOUT_ROLLOVER
    ROLLOVER扇出类型将所接收数据帧送往同一个套接口,直到此套接口接收缓存剩余量不满四分之三时为止。之后遍历fanout扇出组内的后续套接口,找到下一个套接口,其接收缓存可用空间大于总空间的四分之一,如果找不到,继续使用之前的套接口。可用空间计算见函数__packet_rcv_has_room,对于正常套接口接收而言,avail可用空间等于sk_rcvbuf接收缓存总量减去当前使用量sk_rmem_alloc,在减去当前skb将要占用的缓存空间,即为可用空间。
    
    套接口接收缓冲区大小sk_rcvbuf可通过setsockopt函数的SO_RCVBUF选项进行自定义设置。
    
        int avail = sk->sk_rcvbuf - atomic_read(&sk->sk_rmem_alloc) - (skb ? skb->truesize : 0);
        if (avail > (sk->sk_rcvbuf >> ROOM_POW_OFF))
            return ROOM_NORMAL;
        else if (avail > 0)
            return ROOM_LOW;
        else
            return ROOM_NONE;

    对于mmap的套接口,以版本V1和V2为例,其可用空间计算见函数__tpacket_has_room,如果从环形buffer的head头部开始增加4分之一总长度处的buffer的状态为TP_STATUS_KERNEL,即这段空间为内核所有,认为此套接口的缓存空间正常可用。
    
        len = po->rx_ring.frame_max + 1;
        idx = po->rx_ring.head;
        if (pow_off)
            idx += len >> pow_off;
        if (idx >= len)
            idx -= len;
        return packet_lookup_frame(po, &po->rx_ring, idx, TP_STATUS_KERNEL);

    
2)PACKET_FANOUT_HASH
    哈希HASH扇出类型,内核默认的扇出类型,根据数据包的头部信息计算hash来选取套接口,使用的字段值有flow_keys_dissector_symmetric_keys定义,包括基本的网络协议号和传输层协议号,网络层地址(IPv4/IPv6),以及传输层的源和目的端口号。据此,可将同一条链接的数据流选取到同一个套接口上进行处理。 见函数fanout_demux_hash。

3)PACKET_FANOUT_LB

    负载均衡LB扇出类型目前支持round-robin算法,在组内的各个套接口见循环遍历,比较简单,见函数fanout_demux_lb。

            unsigned int val = atomic_inc_return(&f->rr_cur);   
            return val % num;

4)PACKET_FANOUT_CPU

    处理器CPU扇出类型,选取以当前处理器id值为索引的组内套接口。详函数fanout_demux_cpu。

            smp_processor_id() % num;

5)PACKET_FANOUT_RND
    
    随机RND扇出类型,使用随机算法选取组内套接口,见函数prandom_u32_max。
    
6)PACKET_FANOUT_QM
    队列映射QueueMapping扇出类型,根据当前接收的数据包skb中的queue_mapping值,选取组内的套接口,见函数fanout_demux_qm。
    
7)PACKET_FANOUT_CBPF
8)PACKET_FANOUT_EBPF

    依据经典/扩展BPF程序选取组内的套接口。

另外,ROLLOVER扇出类型可作为其它几种类型的备用类型,需要在配置其它扇出类型时,通过flags设置标志位PACKET_FANOUT_FLAG_ROLLOVER。例如设置了PACKET_FANOUT_HASH类型,但是HASH选出来的套接口的接收缓存已经不符合要求时(见以上介绍),可在通过ROLLOVER算法重新选择。此外,如果设置了PACKET_FANOUT_FLAG_DEFRAG标志位,内核扇出处理代码在选取套接口之前,将对分片数据包进行重组。

扇出组释放

扇出组目前不能通过setsockopt进行释放操作,进入组内的套接口也不能够退出组。只有当套接口关闭的时候,才能附带的从组内退出,函数fanout_release实现退出功能。在组内的最后一个套接口关闭之后,packet_release函数将释放扇出组。

    struct packet_fanout *f;

    mutex_lock(&fanout_mutex);
    if ((f = po->fanout)) {
        po->fanout = NULL;
        if (refcount_dec_and_test(&f->sk_ref))  list_del(&f->list);
        else f = NULL;
    }

 

内核版本

Linux-4.15

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值