C++分割字符串

利用C++中的strtok函数来将string使用指定字符串分割。

strtok函数

头文件：#include <cstring> 

函数原型：char * strtok (char *str, const char * delimiters);

参数：str：待分割的字符串（c-string）；delimiters：分割符字符串。 
该函数用来将字符串分割成一个个片段。参数str指向欲分割的字符串，参数delimiters则为分割字符串中包含的所有字符。当strtok()在参数str的字符串中发现参数delimiters中包涵的分割字符时，则会将该字符改为\0 字符。在第一次调用时，strtok()必需给予参数str字符串，往后的调用则将参数str设置成NULL。每次调用成功则返回指向被分割出片段的指针。 
需要注意的是，使用该函数进行字符串分割时，会破坏被分解字符串的完整，调用前和调用后的str已经不一样了。第一次分割之后，原字符串str是分割完成之后的第一个字符串，剩余的字符串存储在一个静态变量中，因此多线程同时访问该静态变量时，则会出现错误。

倘若字符串第一个字符就是分割符中的一个，则不会将其改为\0，因为将第一个改为\0，则这个字符串消失。

代码举例：

例1：将字符串通过’，’分割开，打印子串并判断原字符串（被分割的字符串）是否发生改变

#include <iostream>
#include <string.h>

int main()
{
    char str[]="ab,cd,ef";
    char *ptr;
    cout<<"before strtok:  str="<<str<<endl;
    cout<<"begin:"<<endl;
    ptr = strtok(str, ",");
    while(ptr != NULL){
        cout<<"str="<<str<<endl;
        cout<<"ptr="<<ptr<<endl;
        ptr = strtok(NULL, ",");
    }
    return 0;

}

例2：判断字符串中含有多少个分隔符

#include <iostream>
#include <string.h>

int main()
{
    char str[] = "A string\tof ,,tokens\nand some  more tokens";
    char seps[]   = " ,\t\n";
    char *token;
    cout<<str<<endl<<"Tokens:\n"<<endl;
    token = strtok( str, seps );
    while( token != NULL )
    {
        cout<<token<<endl;
        token = strtok( NULL, seps );
    }
    return 0;
}

结论：strtok在切割字符串的过程，实际上就是将被分割的字符串的分隔字符替换为‘\0’ 并且返回标记字符串的首地址，直到返回NULL结束。

例3：若字符串的第一个字符为分隔符。

#include <iostream>
#include <string.h>

int main()
{
    char str[]=",ab,cd,ef";
    char *ptr;
    cout<<"before strtok:  str="<<str<<endl;
    cout<<"begin:"<<endl;
    ptr = strtok(str, ",");
    while(ptr != NULL){
        cout<<"str="<<str<<endl;
        cout<<"ptr="<<ptr<<endl;
        ptr = strtok(NULL, ",");
    }
    return 0;

}

结论：倘若将第一个改为\0，则这个字符串消失，所以不能将其改为\0。

strtok_s函数
strtok_s是Windows下的一个分割字符串安全函数，其函数原型 
char *strtok_s( char *strToken, const char *strDelimit, char *buf); 
将剩余的字符串存储在buf变量中，而不是静态变量中，从而保证了安全性。

strtok_r函数
strtok_s函数是linux下分割字符串的安全函数，函数声明如下： 
char *strtok_r(char *str, const char *delim, char **saveptr); 
（1）该函数也会破坏带分解字符串的完整性，但是其将剩余的字符串保存在saveptr变量中，保证了安全性。 
（2）在函数strtok中剩余字符串是存储在一个静态变量中，因此，多线程在使用该静态变量时引起冲突；而strtok_r则使用用户传入的指针为每个用户saveptr重新申请变量，因而可以保证线程安全。 
（3）strtok_r函数是strtok函数的可重入版本，也即线程安全版本。str为要分解的字符串，delim为分隔符字符串。char *saveptr参数是一个指向char 的指针变量，用来在strtok_r内部保存切分时的上下文，以应对连续调用分解相同源字符串。

自定义split函数

自定义函数1

void split(const string& s, vector<string>& tokens, const string& delimiters)
{
	string::size_type start = s.find_first_not_of(delimiters, 0);
	string::size_type pos = s.find_first_of(delimiters, 0);
	while (pos != string::npos || start != string::npos)
	{
		tokens.emplace_back(s.substr(start, pos - start));
		start = s.find_first_not_of(delimiters, pos);
		pos = s.find_first_of(delimiters, start);
	}
}

这里的string::npos是表明搜索失败的时候返回的string的static成员。

//从s中pos开始找到第一个不在delimters中的任何一个字符，返回该字符的位置，
//用string::size_type来表示，最好别用int或其他类型来保存返回值
start = s.find_first_not_of(delimiters, pos);

//从s中pos开始找到第一个在delimters中的任何一个字符，返回该字符的位置，
pos = s.find_first_of(delimiters, start);

自定义函数2

void _split(const string &s, char delim, vector<string> &elems) {
    stringstream ss(s);
    string item;

    while (getline(ss, item, delim)) {
        elems.push_back(item);
    }
}
vector<string> split(const string &s, char delim) {
    vector<string> elems;
    _split(s, delim, elems);
    return elems;
}

使用C++11中提供的库regex来完成

std::string text="hello thor king";
std::regex delimiters("\\s+");
std::vector <std::string> v(std::sregex_token_iterator(text.begin(),text.end(),delimiters,-1),
                                        std::sregex_token_iterator());
for(auto &&s:v)
    std::cout<<s<<"\n";

 

---

可重入函数： 
  （1）重入即表示重复进入，首先它意味着这个函数可以被中断，其次意味着它除了使用自己栈上的变量以外不依赖于任何环境（包括static），这样的函数就是purecode（纯代码）可重入，可以允许有该函数的多个副本在运行，由于它们使用的是分离的栈，所以不会互相干扰。如果确实需要访问全局变量（包括static），一定要注意实施互斥手段。可重入函数在并行运行环境中非常重要，但是一般要为访问全局变量付出一些性能代价。 
   （2）指一个可以被多个任务调用的函数（过程），任务在调用时不必担心数据是否会出错。 
不可重入函数： 
  如果函数接口的代码实现中在块内定义和使用了static存储类型的变量，这种函数将是不可重入函数。它在实时系统中是不安全函数。

---

参考链接：https://blog.csdn.net/yishizuofei/article/details/78232946