目录

使用strtok()完成分割

使用strsep()完成分割

使用strtok_r()完成分割

实现字符串分割

前言

最近遇到了一个字符串分割的问题，在C++的标准库里面没有字符分割函数split()。我想这个问题今后可能还会再遇见，所以使用C/C++中的字符串分割方法完成相应的功能。

需求：对一个字符串进行分割，然后将分割后的数据存起来，想用的时候像用数组那样拿就行了。所以在完成分割后，需要使用vector将相应的数据保存起来。

使用strtok()完成分割

char * strtok （ char * str，const char * delim );其中str是需要分割的字符串。delim是分隔符标识。在<cstring><string.h>中定义

该函数被设计为多次调用，以从同一字符串中获取连续的token。

如果 str != NULL，该调用被视为 strtok 对此特定字符串的第一个调用。该函数搜索中不包含的第一个字符 delim。

如果找不到这样的字符，则根本没有标记str，并且该函数返回空指针。

如果找到了这样的字符，则这是token的开头。然后，函数从该点开始搜索包含delim的第一个字符。

如果未找到这样的字符，str则只有一个标记，以后调用strtok将返回一个空指针

如果找到了这样的字符，则将其替换为空字符'\0'，并将指向下一个字符的指针存储在静态位置中，以供后续调用。

然后，该函数将指针返回到token的开头

如果str == NULL，则该调用将被视为对后续调用strtok：该函数从上次调用中保留的位置继续。行为与先前存储的指针作为str传递的行为相同。

#include <cstring>#include <iostream>int main() {char input[100] = "A, bird, came, down, the, walk";char *token = std::strtok(input, ", ");while (token != NULL) {std::cout << token << '\n';token = std::strtok(NULL, ", ");}}

笔记:

(1)此函数具有破坏性：它将 '\0' 字符写入 str 字符串的元素中。

(2)每次对该函数的调用都会修改一个静态变量：不是线程安全的。

(3)与大多数其他strtok不同，每个后续标记中的定界符可以不同，甚至可以取决于先前标记的内容。

(4)其中delim可以包含多个分隔符，strtok函数会将str内容按分隔符分割。如果对数据格式有要求，需要注意这一点。

源自百度百科：

下面的说明摘自于Linux内核2.6.29，说明了这个函数已经不再使用，由速度更快的strsep()代替。

/** linux/lib/string.c** Copyright (C) 1991, 1992 Linus Torvalds*//** stupid library routines.. The optimized versions should generally be found

* as inline code in <asm-xx/string.h>

* These are buggy as well..

* * Fri Jun 25 1999, Ingo Oeser <ioe@informatik.tu-chemnitz.de>

* - Added strsep() which will replace strtok() soon (because strsep() is

* reentrant and should be faster). Use only strsep() in new code, please.

** * Sat Feb 09 2002, Jason Thomas <jason@.au>,

* Matthew Hawkins <matt@mh.dropbear.id.au>

* - Kissed strtok() goodbye

*/

使用strsep()完成分割

strsep函数用于分解字符串为一组字符串。其原型为：

char *strsep(char **s, const char *delim);

存在的问题

#include <stdio.h>#include <stdlib.h>#include <string.h>//char *strsep(char **str, const char *delim); int main(void) {char source[] = "hello, world! welcome to china!";char delim[] = " ,!";char *input = strdup(source);char *token = strsep(&input, delim);while (token != NULL) {printf(token);printf("-");token = strsep(&input, delim);printf("\n");}free(input);return 0;}

为什么使用strsep()分割字符串后会多出几个"-" ？

原因是：如果输入的串的有连续的多个字符属于delim，strtok会返回NULL，而strsep会返回空串 ""。如果想用strsep函数分割字符串必须进行返回值是否是空串的判断。

使用strtok_r()完成分割

strtok是一个线程不安全的函数，因为它使用了静态分配的空间来存储被分割的字符串位置，线程安全的函数是strtok_r()。

char *strtok_r(char *str, const char *delim, char **saveptr);

strtok_r函数是strtok函数的可重入版本。str为要分解的字符串，delim为分隔符字符串。char **saveptr参数是一个指向char *的指针变量，用来在strtok_r内部保存切分时的上下文，以应对连续调用分解相同源字符串。

第一次调用strtok_r时，str参数必须指向待提取的字符串，saveptr参数的值可以忽略。连续调用时，str赋值为NULL，saveptr为上次调用后返回的值，不要修改。一系列不同的字符串可能会同时连续调用strtok_r进行提取，要为不同的调用传递不同的saveptr参数。

strtok_r实际上就是将strtok内部隐式保存的this指针，以参数的形式与函数外部进行交互。由调用者进行传递、保存甚至是修改。需要调用者在连续切分相同源字符串时，除了将str参数赋值为NULL，还要传递上次切分时保存下的saveptr。

#include <stdio.h> #include <stdlib.h> #include <string.h> //char *strtok_r(char *str, const char *delim, char **saveptr);int main(){char *Src = "Can I help you";char Buffer[100];char *delim = " ";char *saveptr = NULL;char *input = NULL;strncpy(Buffer, Src, sizeof(Buffer) - 1);input = Buffer;while(NULL != ( input = strtok_r( input, delim, &saveptr))){printf("input[%s] saveptr[%s]\n", input,saveptr);input = NULL;}return 0;}

实现字符串分割

以上函数都会改变源字符串，所以在完成split函数功能时，要先复制一个副本，对副本进行分割后返回相应的值才是正确的思路。

#include <iostream>#include <vector>#include <cstring>using namespace std;namespace tyler{//strtok版本//char *strtok(char s[], const char *delim);vector <string> stringsplit(const string &str, const char *delim){vector <std::string> strlist;int size = str.size();char *input = new char[size+1];strcpy(input, str.c_str());char *token = std::strtok(input, delim);while (token != NULL) {strlist.push_back(token);token = std::strtok(NULL, delim);}delete []input;return strlist;}//另一种写法//for(token = strtok(input, delim); token != NULL; token = strtok(NULL, delim)) //{//}//strsep版本//char *strsep(char **stringp, const char *delim);vector <string> stringsplit1(const string &str, const char *delim){vector <std::string> strlist;char *p = const_cast<char*>(str.c_str());char *input = strdup(p); //strdup()在内部调用了malloc()为变量分配内存，不需要使用返回的字符串时，需要用free()释放相应的内存空间，否则会造成内存泄漏。char *token = strsep(&input, delim);while (token != NULL) {if(strcmp(token, "") == 0)token = strsep(&input, delim);else{strlist.push_back(token);token = strsep(&input, delim);}}free(input);return strlist;}//strtok_r版本//char *strtok_r(char *str, const char *delim, char **saveptr);vector <string> stringsplit2(const string &str, const char *delim){vector <std::string> strlist;char *saveptr = NULL;char *p = const_cast<char*>(str.c_str());char *input = strdup(p); //strdup()在内部调用了malloc()为变量分配内存，不需要使用返回的字符串时，需要用free()释放相应的内存空间，否则会造成内存泄漏。while(NULL != ( input = strtok_r( input, delim, &saveptr) )){//printf("input[%s] saveptr[%s]\n",input,saveptr);strlist.push_back(input);input = NULL;}free(input);return strlist;}}int main(){string str = "hello, world! welcome to china!";cout << str <<endl;vector<string> asd = tyler::stringsplit2(str, " ,!");cout << "StringList:";for(int i = 0; i < asd.size(); ++i){cout << "[" << asd[i] << "]";}cout <<endl;cout << "String:" << str <<endl;return 0;}

参考：

/item/strtok_r

/yafeng_jiang/article/details/7109285

/carsonzhu/p/5859552.html

/zhouzhenhe/article/details/74011399