netmap源码分析（五）ioctl 注册过程

上篇文章中，提到用户态 netmap 的使用过程，其中有一个 nm_open 函数。

nm_open 封装好了一些内部操作，包括注册部分ioctl(d->fd, NIOCREGIF, &d->req)，这次我们来分析一下netmap_ioctl函数。

这个函数比较长，这里只分析注册部分：

netmap_ioctl()  |-- netmap_do_regif()        |-- netmap_update_config()              |-- nm_config()

netmap_ioctl

int netmap_ioctl(struct netmap_priv_d *priv, u_long cmd, caddr_t data, struct thread *td){    struct nmreq *nmr = (struct nmreq *) data;    struct netmap_adapter *na = NULL;    struct ifnet *ifp = NULL;    int error = 0;    struct netmap_if *nifp;    enum txrx t;    if (cmd == NIOCGINFO || cmd == NIOCREGIF) {        nmr->nr_name[sizeof(nmr->nr_name) - 1] = '\0';  // nr_name 就是 net interface 名         if (nmr->nr_version != NETMAP_API) {            nmr->nr_version = NETMAP_API;        }        // 判断版本是否有效，当前 netmap API 版本是 11        if (nmr->nr_version < NETMAP_MIN_API ||            nmr->nr_version > NETMAP_MAX_API) {            return EINVAL;        }    }    switch (cmd) {    case NIOCREGIF:        i = nmr->nr_cmd; // nr_cmd 为 0        NMG_LOCK();  // 防止并发注册        do {            u_int memflags;            struct ifnet *ifp;            if (priv->np_nifp != NULL) {  // 如果已经注册过了，跳出 switch                error = EBUSY;                break;            }            error = netmap_get_na(nmr, &na, &ifp, 1);  // 获取 na 和 interface            if (error)                break;            if (NETMAP_OWNED_BY_KERN(na)) {  // 查看设备是否是 Busy 状态                 netmap_unget_na(na, ifp);                error = EBUSY;                break;            }            // 判断是否可以处理 virtio-net            if (na->virt_hdr_len && !(nmr->nr_flags & NR_ACCEPT_VNET_HDR)) {                netmap_unget_na(na, ifp);                error = EIO;                break;            }            error = netmap_do_regif(priv, na, nmr->nr_ringid, nmr->nr_flags);            if (error) {  // 如果注册失败                netmap_unget_na(na, ifp);                break;            }            nifp = priv->np_nifp;            priv->np_td = td;            // 队列数和槽位数赋值            nmr->nr_rx_rings = na->num_rx_rings;            nmr->nr_tx_rings = na->num_tx_rings;            nmr->nr_rx_slots = na->num_rx_desc;            nmr->nr_tx_slots = na->num_tx_desc;            error = netmap_mem_get_info(na->nm_mem, &nmr->nr_memsize, &memflags,                &nmr->nr_arg2);            // 遍历所有等待队列 wait_queue            for_rx_tx(t) {                priv->np_si[t] = nm_si_user(priv, t) ?                    &na->si[t] : &NMR(na, t)[priv->np_qfirst[t]].si;            }            nmr->nr_offset = netmap_mem_if_offset(na->nm_mem, nifp);  // 计算 nifp 的偏移            priv->np_ifp = ifp;        } while (0);        NMG_UNLOCK();        break;    }    return error;}

netmap_do_regif —— 真 · 注册部分

int netmap_do_regif(struct netmap_priv_d *priv, struct netmap_adapter *na,     uint16_t ringid, uint32_t flags){    struct netmap_if *nifp = NULL;    int error;    netmap_update_config(na);  // 更新配置，详细见下文    priv->np_na = na;    error = netmap_set_ringid(priv, ringid, flags);  // 设置 ring ID     error = netmap_mem_finalize(na->nm_mem, na);  // 更新一些配置    error = netmap_krings_get(priv);  // 确保 netmap 有内核态队列    nifp = netmap_mem_if_new(na);  // 创建一个新的 nifp    na->active_fds++;  // 增加这个 interface 的引用计数    mb();    priv->np_nifp = nifp;    return 0;}

netmap_update_config

从硬件设备中获取相关配置信息并更新到 netmap 中

int netmap_update_config(struct netmap_adapter *na){    u_int txr, txd, rxr, rxd;    txr = txd = rxr = rxd = 0;    // nm_config 指向 netmap_linux_config    if (na->nm_config == NULL || na->nm_config(na, &txr, &txd, &rxr, &rxd)) {        txr = na->num_tx_rings;        txd = na->num_tx_desc;        rxr = na->num_rx_rings;        rxd = na->num_rx_desc;    }    if (na->active_fds == 0) {  // 更新收发队列和槽位的个数        na->num_tx_rings = txr;        na->num_tx_desc = txd;        na->num_rx_rings = rxr;        na->num_rx_desc = rxd;        return 0;    }    return 1; }

netmap_linux_config

int netmap_linux_config(struct netmap_adapter *na,        u_int *txr, u_int *txd, u_int *rxr, u_int *rxd){    struct ifnet *ifp = na->ifp;    int error = 0;    rtnl_lock();    if (ifp == NULL) {        error = ENXIO;        goto out;    }    error = nm_os_generic_find_num_desc(ifp, txd, rxd);  // 获取硬件网卡的槽位个数    if (error)        goto out;    nm_os_generic_find_num_queues(ifp, txr, rxr);  // 获取硬件网卡的TX/RX个数out:    rtnl_unlock();    return error;}

nm_os_generic_find_num_desc

获取槽位

int nm_os_generic_find_num_desc(struct ifnet *ifp, unsigned int *tx, unsigned int *rx){    int error = EOPNOTSUPP;#ifdef NETMAP_LINUX_HAVE_GET_RINGPARAM    struct ethtool_ringparam rp;    // 通过 ethtool_ops 获取槽位    if (ifp->ethtool_ops && ifp->ethtool_ops->get_ringparam) {        ifp->ethtool_ops->get_ringparam(ifp, &rp);        *tx = rp.tx_pending ? rp.tx_pending : rp.tx_max_pending;        *rx = rp.rx_pending ? rp.rx_pending : rp.rx_max_pending;    }    return error;}

注意：下面这个 nm_os_generic_find_num_queues( ) 函数需要稍加注意一下

nm_os_generic_find_num_queues

我当时使用 netmap 环境：

• OS：RHEL6.5 x86_64
• Kernel：Linux 2.6.32-431

这里有一个问题，linux 2.6.32 的 ethtool_ops 中并没有get_channels，这就导致 RX 被设置成了 1，那么会有什么问题呢？

比如我用 Intel 82599EB 10-Gigabit 测试，网卡是 8 TX 和 8 RX，不过 netmap 测试时，收包相当低，经过排查发现只使用了 1 个 RX。

更改方法见我之前的文章 使用 netmap 提升 ixgbe 性能（续），算是临时方案吧。

获取队列

void nm_os_generic_find_num_queues(struct ifnet *ifp, u_int *txq, u_int *rxq){    struct ethtool_channels ch;    memset(&ch, 0, sizeof(ch));    // 也是通过 ethtool_ops 获取队列信息    if (ifp->ethtool_ops && ifp->ethtool_ops->get_channels) {        ifp->ethtool_ops->get_channels(ifp, &ch);        *txq = ch.tx_count ? ch.tx_count : ch.combined_count;        *rxq = ch.rx_count ? ch.rx_count : ch.combined_count;    } else {        *rxq = 1;    }}