欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

C 中级 - SO_REUSEPORT 和 SO_REUSEADDR

程序员文章站 2022-05-04 13:12:50
SO_REUSEPORT 端口复用, SO_REUSEADDR 地址复用使用案例 ......

引言 - 问题由来

  刚开始学习网络编程时候, 常听到一个词, 先开启 "端口复用 SO_REUSEADDR". 那时很一知半解,

就知道该那么写了. 心里一直有些奇怪, 语义不通呀为啥这么翻译.  后面随着相声听多了, 就明白了些

道理. 

    https://www.zhihu.com/question/23202010

  (这个梗告诉 wo, 索引和反向索引要比正排索引和倒排索引容易理解好多, 信达雅 : )

 随后逛网络帖子恰好看见布道师陈硕介绍 SO_REUSEPORT 时候, 他说的实用起来应该很爽.

    https://zhuanlan.zhihu.com/p/25533528

文章简单的通过数据结构来表明  SO_REUSEPORT 开启后, 会将 sock 结构放入  port 为 key 的

hash 结构中. 一联想, 就发现到 epoll 多线程解决方案,  通过 epoll + thread + listen fd  epoll 搞.

是不是很有意思. 

  后面开始搜集 SO_REUSEPORT 资料, 看到这个

    https://blog.csdn.net/Yaokai_AssultMaster/article/details/68951150

从中提炼几个简单信息. 我们以 linux 行为为基准, 顺带引述 winds 行为. 

linux -:

  1) . 端口复用 SO_REUSEPORT, 可以顶地址复用 SO_REUSEADDR.

  2) . 都有 userID 安全检查

winds -:

  1). 只有 SO_REUSEADDR, 轻微像 SO_REUSEPORT 支持多端口绑定.

       但只有最后一个绑定的 socket 能够接收数据.  最后一个 closesocket 后, 最后"第二个"顶. 

     (猜测采用的是 list 结构, 每次 add 到 head, del 到 head. ) 

  2). 没有 userID 安全检查, 依赖它独有安全的选项 SO_EXCLUSIVEADDRUSE

通过上面信息, 不妨写个通用的复用代码 socket_set_reuse 用起来会很舒服.

// socket_set_reuse - 开启端口和地址复用
inline int socket_set_enable(socket_t s, int optname) {
    int ov = 1;
    return setsockopt(s, SOL_SOCKET, optname, (void *)&ov, sizeof ov);
}

inline int socket_set_reuse(socket_t s) {
    return socket_set_enable(s, SO_REUSEPORT);
}

其中 winds 平台构造了如下定义 

#ifdef _MSC_VER

#define SO_REUSEPORT            SO_REUSEADDR

typedef SOCKET socket_t;#endif

上面翻译文章中提供链接挺好

  

  https://*.com/questions/14388706/socket-options-so-reuseaddr-and-so-reuseport-how-do-they-differ-do-they-mean-t/14388707#14388707  

扯了这么多, 后面会构造代码来验证和表现结果.

正文 - 实验验证

  首先从 linux 入手, 写一段 SO_REUSEPORT 验证代码  port.c 

#include <time.h>
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <signal.h>
#include <pthread.h>
#include <sys/types.h>

#include <netdb.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <netinet/tcp.h>

//
// CERR - 打印错误信息
// IF   - 条件判断异常退出的辅助宏
//
#define CERR(fmt, ...)                                                   \
fprintf(stderr, "[%s:%s:%d][%d:%s]" fmt "\n",                            \
    __FILE__, __func__, __LINE__, errno, strerror(errno), ##__VA_ARGS__)

#define IF(cond)                                                         \
if ((cond)) do {                                                         \
    CERR(#cond);                                                         \
    exit(EXIT_FAILURE);                                                  \
} while(0)

// accept_example - SO_REUSEPORT accept example 
void accept_example(void);

// times_buf - 时间串缓存
char * times_buf(char buf[BUFSIZ]);

//
// SO_REUSEPORT :)
//
int main(int argc, char * argv[]) {
    // start 10 pthread run accept_example
    pthread_attr_t attr;
    pthread_attr_init(&attr);
    pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED);
    for (int i = 0; i < 10; ++i) {
        pthread_t tid;
        IF(pthread_create(&tid, &attr, (void * (*)(void *))accept_example, NULL));
    }
    pthread_attr_destroy(&attr);

    // main accept block
    accept_example();
    return 0;
}

// UINT_PORT - 监听端口
#define UINT_PORT (8088)

// socket_set_enable - 开始 socket 开关
inline static int socket_set_enable(int s, int optname) {
    int ov = 1;
    return setsockopt(s, SOL_SOCKET, optname, (void *)&ov, sizeof ov);
}

// accept_example - SO_REUSEPORT accept example 
void 
accept_example(void) {
    // 构造 TCP socket
    int s = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP);
    IF(s == ~0);

    // 开启地址复用
    IF(socket_set_enable(s, SO_REUSEADDR));
    IF(socket_set_enable(s, SO_REUSEPORT));

    // 构造地址
    struct sockaddr_in addr = {
        AF_INET,
        htons(UINT_PORT),
        { INADDR_ANY },
    };
    socklen_t sen = sizeof addr;
    const struct sockaddr * pddr = (const struct sockaddr *)&addr;

    // 绑定地址
    IF(bind(s, pddr, sen));

    // 开始监听
    IF(listen(s, SOMAXCONN));

    // 等待链接过来, 最多 3 次
    for (int i = 0; i < 3; ++i) {
        char v[BUFSIZ];
        struct sockaddr_in cddr;
        socklen_t cen = sizeof cddr;

        printf("[%ld] accept start ... %s\n", pthread_self(), times_buf(v));
        int c = accept(s, (struct sockaddr *)&cddr, &cen);
        if (s == ~0) {
            CERR("accept s = %d is error", s);
            break;
        }

        // 连接成功打印链接消息
        printf("[%ld] [%s:%d] accept success ... %s\n",
            pthread_self(),
            inet_ntoa(cddr.sin_addr), ntohs(cddr.sin_port),
            times_buf(v));
        
        close(c);
    }

    close(s);
}

// times_buf - 时间串缓存
char * 
times_buf(char buf[BUFSIZ]) {
    struct tm m;
    struct timespec s;

    timespec_get(&s, TIME_UTC);
    localtime_r(&s.tv_sec, &m);

    snprintf(buf, BUFSIZ, "%04d-%02d-%02d %02d:%02d:%02d %03ld",
             m.tm_year + 1900, m.tm_mon + 1, m.tm_mday,
             m.tm_hour, m.tm_min, m.tm_sec, 
             s.tv_nsec / 1000000);
    return buf;
}

立即尝试跑一跑

gcc -g -Wall -o port.out port.c -lpthread
./port.out

看看结果

C 中级 - SO_REUSEPORT 和 SO_REUSEADDR

顺带写个 winds 实验版本 reuseport_test.c (跨平台)

#include <times.h>
#include <socket.h>
#include <thread.h>

// UINT_PORT - 监听端口
#define UINT_PORT (8088)

// accept_example - SO_REUSEPORT accept example 
void accept_example(int id);

// reuseport_test - 端口复用测试
void reuseport_test(void) {
    // start 10 pthread run accept_example
    for (int i = 1; i <= 10; ++i) {
        IF(pthread_async(accept_example, i));
    }

    msleep(609);

    // main accept block
    accept_example(0);
}

// accept_example - SO_REUSEPORT accept example 
void 
accept_example(int id) {
    // 构造 TCP socket
    socket_t s = socket_stream();
    IF(s == INVALID_SOCKET);

    // 开启地址复用
    IF(socket_set_reuse(s));

    // 构造地址
    sockaddr_t addr = {{ AF_INET, htons(UINT_PORT) }};

    // 绑定地址
    IF(socket_bind(s, addr));

    // 开始监听
    IF(socket_listen(s));

    // 等待链接过来, 最多 3 次
    for (int i = 0; i < 3; ++i) {
        times_t v;
        sockaddr_t cddr;

        printf("[%2d] accept start ... %s\n", id, times_str(v));
        socket_t c = socket_accept(s, cddr);
        if (s == INVALID_SOCKET) {
            CERR("accept s = %lld is error", (long long)s);
            break;
        }

        // 连接成功打印链接消息
        char ip[INET_ADDRSTRLEN];
        printf("[%2d] [%s:%d] accept success ... %s\n", id,
               socket_pton(cddr, ip), ntohs(cddr->sin_port),
               times_str(v));

        socket_close(c);
    }

    socket_close(s);
}

是不是很清爽, 舒服还是 structc 框架给予的 ~ &(左旋转 90 度) 力量

   https://github.com/wangzhione/structc

C 中级 - SO_REUSEPORT 和 SO_REUSEADDR

玩别人玩剩下的也挺好玩的 哈哈 ~ : ) 

毕竟写过 -|

后记 - 搬运打杂

  错误是难免的, 欢迎指正, 共同提升, 感受纯粹的力量

  - http://music.163.com/#/song?id=516728102 

C 中级 - SO_REUSEPORT 和 SO_REUSEADDR