知识巩固源码落实之6：c语言拼接字符串与切割字符串（strsep）代码

网络数据是以流的形式进行传输的（我们在构造客户端/服务端待发送数据时，肯定有特定的格式）。

关于发送一次，一个包的完整性可靠接收（tcp的可靠传输，以及取数据的半包粘包问题）这里不关注，可以参考上文。

这里的目的是：

===》备份c语言字符处理相关方案

===》备份自己在业务实现时，对字符串切割实现的一个接口（strstr，strcasestr，strsep，strtok，strdup相关接口）

有如下几个细节可以关注：

===》1：实现不同类型的数据拼接字符串的方案 （3.1）

===》2：char**通过传参的方式再函数内部进行构造 （3.2.4.2）

===》3：对字符串进行解析处理的几种方案，尤其是分割字符串的实现（strsep实现了demo）（3.2.4）

1：背景描述

网络传输过程中，如tcp的客户端可服务端进行通信时，send函数实际发送的数据是用字符数组+长度表示的，即流的形式。

有关一次发送，一个包的完整接收，依赖于tcp底层的可靠流式传输，需要进行半包和粘包处理，可以参考上文。

但是，这里针对一个包的结构，我们其实也会需要根据我们的业务场景进行设计，按照特定的结构进行构造，与解析。

这里关注一次发送一个包的构造与解析方案，以及代码实现做备份

2：逻辑描述

2.1：大概描述

网络传输中，对字符流的处理非常重要，建立在我们制定的特定的规范上

===》除了关注一个包的完整接收（粘包半包问题），还需要关注数据本身

===》1：类似tcp/ip协议栈那样，用特定的协议栈，特定的字节表示特定的含义进行解析（固定字节大小表示含义）

===》2：我们可以自定义规范，如用特定的字符/字符串进行识别，分割不同字符所表示的含义（如 msg_type|other_type|msg_len|msg_data）.

这里针对以上所描述的两种方案的数据的构造与解析，进行梳理及代码测试。。。

2.2：数据的构造（目的构造特定格式待发送的char*及获取长度）

一般发送端和接收端对数据的处理都是协商好的，按照特定的格式构造，必然会按照特定的格式进行解析。

数据的构造本质：其实就是按照特定的格式给char指针中塞入协商的格式的数据，以及获取到实际发送的数据的长度。

===》1：类似tcp/ip协议头，可以通过结构体指针强转，以及获取实际长度进行发送

===》2：构造要发送的char*指针及获取长度方案：使用 memcpy

===》3：构造要发送的char*指针及获取长度方案：c库函数，strcpy, strcat

===》4：构造要发送的char*指针及获取长度方案：使用sprintf、sprintf_s （觉得最好用）

2.3：数据的解析（目的对接收到的char*按协商的格式进行解析）

以流的形式，接收到对待的数据（实际是char*指针和数据长度），对其按照协商进行解析。

解析的本质：按照特定的字节，或者对整个流进行处理依次取特定位置数据

===》1：指针强转，类似tcp/ip协议栈处理，可以把接收到的报文，直接转为结构体指针进行操作

===》2：先取特定长度，再按这个长度取实际数据。 （发送先发送长度+data（可以自己定义解析格式））

===》3：解析接收到的流，进行解析（如按照“|”进行分割）

本文的目的之一也是为了备份按照“|”进行分割的一个实践代码

3：代码梳理

3.1：待发送数据构造的demo

3.1.1：结构体指针转为char*实现/解析逻辑

构造结构体，计算实际长度，send时直接转为char*传参进行发送。。。

再linux环境上使用gcc进行编译测试过，代码执行ok

//1：类似tcp/ip协议栈，其实都是按照特定的结构体进行类型强转数据解析
void parse_struct_format_data()
{
printf("parse_struct_format_data test: \n");
	//假设定义了柔性数组，构造数据并解析数据的流程如下
	struct my_data_t
	{
		int msg_type;
		int data_len;
		char data[0];
	};
	//假设要发送的数据为client send data example. \n， 类型为1
	const char* data = "client send data example. \n";
	//发送端构造最终的数据如下
	struct my_data_t *send_data = NULL;
	send_data = (struct my_data_t*)malloc(sizeof(struct my_data_t)+strlen(data)+1);
	if(send_data == NULL)
	{
		return ;
	}
	memset(send_data, '\0', sizeof(struct my_data_t)+strlen(data)+1);//只是预留了一个位而已
	send_data->msg_type = 1;
	send_data->data_len = strlen(data);
	memcpy(send_data->data, data, strlen(data));
	//这里其实 send_data就是我们最终构造的一个网络数据格式包，可以进行发送
	//使用send进行发送时，只是传参char*以及待发送的数据长度
	char *send_para_data = (char *)send_data; //结构体类型强转  tcp识别到的是这个结构里的流数据
	int send_para_data_len = sizeof(struct my_data_t)+strlen(data);
	//如果客户端使用send_para_data 及长度send_para_data_len 进行发送及校验 。。。
	//我们收到的流，以recv进行接收，就是一个字符流，内容其实就是send_para_data 长度为send_para_data_len 
	//这里要完整的接收到一个包（半包粘包问题，可参考上文）
	//进行逆向解析就好
	struct my_data_t *recv_data = (struct my_data_t*)send_para_data;
	//可以按照柔性数组的逻辑 按照长度对实际数据进行解析打印
	printf("\trecv_data type is [%d] \n",recv_data->msg_type);
	printf("\trecv_data len is [%d] \n",recv_data->data_len);
	//这里只是测试  注意如果这个data中有特殊的字符如\0等，不能这样打印，要按照十六进制按照长度打印
	printf("\trecv_data len is [%s] \n", recv_data->data);
	printf("recv_data ASSII is [");
	for(int i=0; i<recv_data->data_len; i++)
	{
		printf("%02x ", recv_data->data[i]);
	}
	printf("]\n");
	if(send_data!= NULL)
	{
		free(send_data);
		send_data = NULL;
	}
}

3.1.2：使用memcpy实现字符串的拼接，构造char*

目的是获得最终的char*指针位置以及实际发送的数据长度。

这里因为懒，使用了to_string把int转为string进行测试，所以编译的时候用c++11，可以修改用itoa…

//1:使用memcpy实现字符串的拼接 splicing test of string1 and string2
int use_memcpy_splic_string()
{
printf("use_memcpy_splic_string test:\n");
	const char* str1 = "splicing test of ";
	const char* str2 = "string";
	const char* and1 = " and ";
	int one = 1;
	int two = 2;
	//这里用到了C++中的to_string函数  c语言可以用itoa,这里主要是理解字符串拼接，，， 有int类型的字符串转换拼接常用sprintf
	int size = strlen(str1) + strlen(str2) * 2 + (strlen(to_string(one).c_str())) + strlen(and1) + (strlen(to_string(two).c_str())) + 1;
	printf("\tget the len is : %d %lu\n", size, strlen("splicing test of string1 and string2"));

	int pos = 0;
	char* result = (char*)malloc(size);
	if (result == NULL)
	{
		return -1;
	}
	memset(result, '\0', size);
	memcpy(result, str1, strlen(str1));
	pos += strlen(str1);
	memcpy(result + pos, str2, strlen(str2));
	pos += strlen(str2);
	memcpy(result + pos, to_string(one).c_str(), strlen(to_string(one).c_str()));
	pos += strlen(to_string(one).c_str());
	memcpy(result + pos, and1, strlen(and1));
	pos += strlen(and1);
	memcpy(result + pos, str2, strlen(str2));
	pos += strlen(str2);
	memcpy(result + pos, to_string(two).c_str(), strlen(to_string(two).c_str()));
	pos += strlen(to_string(two).c_str());
	printf("\tthe result is [%lu][%s]  \n", strlen(result), result);
	printf("\tpos is [%d] \n", pos);
	if (result != NULL)
	{
		free(result);
		result = NULL;
	}
	return 0;
}

3.1.3：使用c库函数（strcpy， strcat）

偷懒用了to_string(),编译测试用c++11

//2:使用c库函数实现字符串的拼接 splicing test of string1 and string2
//写代码的时候要注意目标字符串的长度一定要够用 
int use_clibrary_strcat_splic_string()
{
printf("use_clibrary_strcat test: \n");
	const char* str1 = "splicing test of ";
	const char* str2 = "string";
	const char* and1 = " and ";
	int one = 1;
	int two = 2;
	//这里用到了C++中的to_string函数  c语言可以用itoa,这里主要是理解字符串拼接，，， 有int类型的字符串转换拼接常用sprintf
	int size = strlen(str1) + strlen(str2) * 2 + (strlen(to_string(one).c_str())) + strlen(and1) + (strlen(to_string(two).c_str())) + 1;
	printf("\tget the len is : %d %lu\n", size, strlen("splicing test of string1 and string2"));
	char* result = (char*)malloc(size);
	if (result == NULL)
	{
		return -1;
	}
	memset(result, '\0', size); 
    //vs上测试时要用strcpy_s
	// strcpy_s(result, size, str1);
	// strcat_s(result, size, str2);
	// strcat_s(result, size, to_string(one).c_str());
	// strcat_s(result, size, and1);
	// strcat_s(result, size, str2);
	// strcat_s(result, size, to_string(two).c_str());
	//注意字符串处理时的不安全性！！！
	strcpy(result,  str1);
	strcat(result,  str2);
	strcat(result,  to_string(one).c_str());
	strcat(result,  and1);
	strcat(result,  str2);
	strcat(result,  to_string(two).c_str());
	printf("\tthe result is [%lu][%s]  \n", strlen(result), result);
	if (result != NULL)
	{
		free(result);
		result = NULL;
	}
	return 0;
}

3.1.4：使用sprintf（sprintf_s）:最实用和方便

vs上测试时需要使用sprintf_s

int use_sprintf_splic_string()
{
	printf("use_sprintf_splic_string test: \n");
	const char* str1 = "splicing test of ";
	const char* str2 = "string";
	const char* and1 = " and ";
	int one = 1;
	int two = 2;
	//定义目标字符串，为其申请内存都是必须的
	int size = strlen(str1) + strlen(str2) * 2 + (strlen(to_string(one).c_str())) + strlen(and1) + (strlen(to_string(two).c_str())) + 1;
	printf("\tget the len is : %d %lu\n", size, strlen("splicing test of string1 and string2"));
	char* result = (char*)malloc(size);
	if (result == NULL)
	{
		return -1;
	}
	memset(result, '\0', size);
	//使用sprintf一步到位
	sprintf(result, "%s%s%d%s%s%d", str1, str2, one, and1, str2, two);
	//sprintf_s(result, size, "%s%s%d%s%s%d", str1, str2, one, and1, str2, two);
	printf("\tthe result is [%lu][%s]  \n", strlen(result), result);
	if (result != NULL)
	{
		free(result);
		result = NULL;
	}
	return 0;
}

3.2：接收数据进行解析的demo

3.2.1：直接把char*转为结构体（类似tcp/ip协议栈处理）

参考3.1.1

3.2.2：按照协商的自己含义，使用memcpy按字节处理

参考3.1.2

3.2.3：先接收长度，再接收数据的解析

网络数据有个场景，可以先发送实际数据的长度，recv时先接收特定字节长度，再接收实际数据，保证报的完整.

//2：特定字节表示长度，对后面的数据进行处理==》其实和结构体格式差不多，柔性数组
void parse_len_and_data_networkdata()
{
printf("parse_len_and_data_networkdata test: \n");
	//在网络传输中，可以用特定字节表示长度+实际数据的格式
	const char *send_data = "msg_type | msg_len |msg_data ...\n"; //实际数据有特殊字符的话，长度要传进来或者结构体其他方案
	//在网络发送中，如果想简单实现不想用结构那么麻烦，可以这样用 
	int send_len = strlen(send_data);
	printf("\tsend_len [%d][%s] \n",send_len, send_data);
	//可以类似上个函数用结构体  struct data_t{int len; char data[0];};构造
	//我试试这种：
	char * real_send_data = (char *)malloc(send_len +4+1);
	memset(real_send_data, 0, send_len +4+1);
	memcpy(real_send_data, (char*)&send_len, sizeof(int)); //前四个字节拷贝长度,也可以以字符串形式直接存进去 to_string(send_len).c_str()
	memcpy(real_send_data +sizeof(int), send_data, send_len);
	//real_send_data 就是我们实际send的流   我们可以先接收取前四个字节获取数据长度，再接收后面的字段
	//先定义一个int，从recv取四个字节，转为int表示的长度
	int recv_len = *(int *)real_send_data; //先recv取四个字节  解析成真正的数据
	char* recv_data = real_send_data+4;  //这里应该是recv读出来的 长度为recv_len 
	printf("\trecv_len[%d] [%s] \n",recv_len, recv_data);
	if(real_send_data != NULL)
	{
		free(real_send_data);
		real_send_data = NULL;
	}
}

3.2.4：如果是按字符串进行分割的设计，对其进行解析

这里只是实现了切割字符串的其中一种方案。

3.2.4.1：数据的构造（符合”|“切割的字符串：”msg_type|other_type|msg_len|msg_data“）：

//模拟一个完整的包，返回一个符合特定格式的拼接起来的包数据
//假设 msg_type|other_type|msg_len|msg_data 格式
int get_concatenate_strings(char ** result_data, int* len)
{
	// 假设格式msg_type|other_type|msg_len|msg_data 格式
	const char * data = "mytest of spilt of send data ... \n\t test";//注意网络数据这里的复杂，用memcpy处理
	int msg_type = 1;
	int other_type = 2;
	int msg_len = strlen(data); //实际后面的数据长度
	//这里估算一下最终最大长度 用20+strlen(data)肯定够用
	char *send_data = NULL;
	send_data = (char*)malloc(20+msg_len);
	memset(send_data, 0, 20+msg_len);
	sprintf(send_data, "%d|%d|%d|", msg_type, other_type, msg_len);
	
	//通过传参的方式传递出去
	*len = strlen(send_data) +msg_len;
	memcpy(send_data+strlen(send_data), data, msg_len);
	*result_data = send_data;
	printf("\t result_data is [%d][%s] \n",*len, send_data);
}

3.2.4.2：按特定字符对字符串实现切割解析（解析提取”msg_type|other_type|msg_len|msg_data“各字段含义）

这里可以关注一下这几个库函数实现字符串切割的方案，测试只是其中一种

char * strstr(const char *haystack, const char *needle); 函数定位子串的位置，然后实现字符串的切割
char * strcasestr(const char *haystack, const char *needle); 和strstr同样的功能，只是忽略两个参数的大小写
char *strtok(char *str, const char *delim); 分解字符串 str 为一组字符串，delim 为分隔符
char *strsep(char **stringp, const char *delim); strtok的升级,

//这里使用"|"对长度为len目标数据data进行切割，通过参数result返回解析后的数据
int check_recv_data_by_spilit(const char * data, int len, char **result, const char* delim)
{
	//直接根据'|'对字符串进行切割 根据切割后的个数进行校验
	char *src = strdup(data); //复制了一份数据 strsep会修改原字符串
	char * src_free = src; 

	//msg_type|other_type|msg_len|msg_data  按照协商的格式 定义了暂存的指针
	char * delim_buff[4] = {0};
	char* token = NULL;  //切割后返回的字符指针
	int i = 0;			 //切割的个数
	//返回的是符合的分割的字符   同时原字符从分割后的位置开始
	for(token = strsep(&src, delim); token!=NULL && i<4; token=strsep(&src, delim))
	{
		delim_buff[i++] = token;
		printf("\tspilt data [%d:%lu:%s] \n", i, strlen(token), token);
		printf("\t\t src:[%s] \n",src);
	}

	if(i != 4) //必然是协商的格式 
	{
		printf("\tvps spilit data error \n");
		free(src_free);
		return -1;
	}

	int msg_type = (int)atoi(delim_buff[0]);
	int dev_type = (int)atoi(delim_buff[1]);
	int data_len = (int)atoi(delim_buff[2]);
	char * cli_data = delim_buff[3];
	printf("\nmsg_type:%d, dev_type:%d, data_len:%d:%lu:[%s] \n", msg_type, dev_type, data_len, strlen(cli_data), cli_data);

	//把解析后的数据进行处理 使用传参传出去
	int ret = 0;
	struct client_recv_t *result_t = NULL;
	result_t = (struct client_recv_t *)malloc(sizeof(struct client_recv_t) + data_len+1);
	if(result_t == NULL)
	{
		printf("malloc error \n");
		*result = NULL;
		ret = -1;
	}else
	{
		memset(result_t, sizeof(struct client_recv_t) + data_len+1, 0);
		result_t->msg_type = msg_type;
		result_t->dev_type = dev_type;
		result_t->data_len = data_len;
		memcpy(result_t->data, cli_data, data_len);
		
		*result = (char *)result_t;
	}
	memset(src_free, 0, len);
	free(src_free);
	src_free = NULL;
	return ret;
}

3.2.4.2：测试代码：

再linux环境直接用gcc进行编译测试，代码ok。。。

//定义一个保存解析后数据的结构
struct client_recv_t
{
	int msg_type;
	int dev_type;
	int data_len;
	char data[0];
};

int parse_spilt_string_and_getdata(const char * data, int len)
{
	printf("\tneed parse data is [%d][%s] \n", len, data);
	//使用特定字符串对字符串进行切割，这里举例是"|"，可以是其他的字符串。。。
	//协商的协议是：msg_type|other_type|msg_len|msg_data 
	//实际数据是：[47][1|2|40|mytest of spilt of send data ... \n\t test

	char * result_data_t = NULL; //存储解析后的数据，也可以是其他方案，这里只是举例
	//这里使用"|"对长度为len目标数据data进行切割，通过传参获取 result_data_t
	if(check_recv_data_by_spilit(data, len, &result_data_t, "|") != 0)
	{
		printf("vps parse spilit error \n");
		return -1;
	}
	//对解析后的数据进行打印
	struct client_recv_t *result_data = (struct client_recv_t *)result_data_t;
	printf("\t parse test data is [%d][%d][%d][%s] \n", result_data->msg_type, result_data->dev_type, result_data->data_len, result_data->data);
	// memset(result_data, sizeof(struct client_recv_t)+ (result_data->data_len+1), 0);
	if(result_data != NULL)
	{
		free(result_data);
		result_data = NULL;
		printf("free success \n");
	}
	return 0;
}

//真正的入口
void parse_string_spilt_data()
{
printf("parse_string_spilt_data test: \n");
	//假设协商的协议是msg_type|other_type|msg_len|msg_data 
	//构造一个数据,获取到最终发送的数据和数据长度
	char * send_data = NULL;
	int send_len = 0;
	if(get_concatenate_strings(&send_data, &send_len) < 0)
	{
		printf("\t make send_data error \n");
		return;
	}
	printf("\t last_result_data is [%d][%s] \n",send_len, send_data);
	//假设对这个数据进行发送了，报的完整性参考上文
	//接收其实就是这样格式的数据，解析一下这个 这里recv接收时要关注包的完整性
	parse_spilt_string_and_getdata(send_data, send_len);
	if(send_data != NULL)
	{
		free(send_data);
		send_data = NULL;
	}
}

我开始试着积累一些常用代码：自己代码库中备用

我的知识储备更多来自这里，推荐你了解：Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK等技术内容，立即学习