mTCP环境配置详细过程
https://bytedance.feishu.cn/docs/doccnxDJbnShOCT7Sk8QDKfUR2c
文档格式有问题,暂时没有时间修改,如果有需要的话,直接私信我。
强烈建议:上手配置mTCP环境前,先手动尝试一下DPDK的环境配置安装操作。
主要过程参照mTCP官方配置教程。可以选择先使用官方教程的安装脚本,运气好的话,说不定一步搞定。
前言:mTCP是一个用户态协议栈,其底层需要相关的包处理层支持,最常见的就是DPDK。所以说在mTCP的源码文件中是直接附带了一个DPDK的。总的说来,官方的安装步骤大致分成三部分:
- 检查安装该有的库
- 安装dpdk环境
- 安装mTCP环境
接下来详细叙述安装步骤:
- 相关库的安装以及检查,linux头文件的检查:
- libdpdk (Intel's DPDK package*)
- libnuma
- libpthread
- librt
- libgmp (for DPDK/ONVM driver)
- For Debian/Ubuntu, try apt-get install linux-headers-$(uname -r)$
注意,这些库的名字可能在不同的系统上略有不同,可能是"-dev","-devel"形式的。另外千万注意检查是否存在运行内核版本一致的linux头文件。
- DPDK安装与设置,这儿有个坑。mtcp自带的用于安装dpdk的脚本,相关命令都是sudo开头的,你的系统上可能没有安装sudo这个命令的,另外如果你是在root权限下的话,可能由于sudoers文件的配置原因,也是无法使用这个命令的。在执行脚本之前,确保能够顺利执行sudo命令。 另外需要注意的是,在这儿直接使用mtcp自带的dpdk,可以进入mtcp/dpdk的文件夹,在里面直接使用dpdk的脚本来安装环境,具体过程可以参考dpdk官方文档。
- Download dpdk submodule
- git submodule init
- git submodule update
- 进入dpdk文件夹,安装dpdk,推荐参考dpdk官方文档。主要参考其中的第3部分与第5部分。
- 创建一个单独的build文件夹,在dpdk目录下执行 meson
。 - cd build
- ninja
- ninja install
- ldconfig
注意最后两条命令需要root身份执行。至此dpdk安装完毕,可以去检查一下是否存在一个 kmod目录。 - 接下来安装相关的驱动,因为dpdk会接管网卡,使用自己的驱动的。此处可以有两个选择uio_pci_generic以及igb_uio.ko。我们选择后者,因为是mTCP中要求的。
- sudo modprobe uio
- sudo insmod kmod/igb_uio.ko
至此dpdk部分已经安装完毕。可以使用ifconfig命令观察一下网卡情况,记一下那张以太网的网卡名称,可能是eth0,也可能是eno1类似的名字。 - 最后设置DPDK的环境,可以使用dpdk里面附带的脚本来操作,mtcp/dpdk/usertools/dpdk-devbind.sh用于网卡的绑定,先使用命令/dpdk-devbind.sh --status 查看当前的网卡状态,应该会得到类似如下的信息:
其中需要注意的就是Network devices using kernel driver一栏,我们需要将相关的网卡驱动卸载掉,换成dpdk的驱动,让dpdk来接管网卡。可以看到下面有一些重要信息,其中00:1f.6是网卡的PCI总线地址,eno1是其名,e1000e是其正在使用的驱动,igb_uio是dpdk的驱动,我们等下就是要将这个驱动装上去的。特别注意的是后面还有一个Active,这说明当前机器正在使用这个网卡,如果想要换驱动的话,需要先将这个网卡卸下来。如果你是使用的ssh远程登陆的话,而且你的机器只有这一张网卡的话,那么卸载网卡后你就没有办法登陆机器了,所以卸载之前慎重。
1. ifconfig eno1 down 网卡卸载了
2. ./dpdk-devbind.sh --bind=igb_uio 00:1f.6 绑了新驱动了
1. 最后我们使用mtcp自带的工具来注册以太网端口
./setup_mtcp_dpdk_env.sh
注意选择register the Ethernet ports项,我的版本上是24,你的版本可能不同的。然后选择选项退出这个脚本,我的版本是35选项,你的可能不同。
-
mTCP环境安装,主要参考官方文档
sudo ifconfig dpdk0 x.x.x.x netmask 255.255.255.0 up
export RTE_SDK=
export RTE_TARGET=x86_64-native-linuxapp-gcc
./configure --with-dpdk-lib=RTE_TARGET
make -
至此安装完毕,可以最后做一些检查工作。
-
autoreconf -ivf ,观察输出是否有error
-
ifconfig 检查是否有dpdk0这张网卡
-
检查mtcp/lib目录下的libmtcp.a文件
-
检查mtcp/include下是否有头文件
-
检查apps/example下是否有二进制文件
附录:
The format of a DPDK target is:
ARCH-MACHINE-EXECENV-TOOLCHAIN
where:
- ARCH can be: i686, x86_64, ppc_64, arm64
- MACHINE can be: native, power8, armv8a
- EXECENV can be: linux, freebsd,linuxapp
- TOOLCHAIN can be: gcc, icc
如果还是有错误的话,自行逢山开路遇水搭桥,不要完全照着命令瞎敲,大致搞清楚命令是干什么的。不要问我,不要联系我,我也不知道为什么会出错,要是我了解的更多之后,会更新这个文档的。增加各种错误描述的,目前看来,我这么安装是完全可以的。