因为一个函数strtok踩坑，我被老工程师无情嘲笑了(一)

在用C/C++实现字符串切割中，strtok函数经常用到，其主要作用是按照给定的字符集分隔字符串，并返回各子字符串。

但是实际上，可不止有strtok(),还有strtok、strtok_s、strtok_r 函数，我们本篇文章作为基础篇，来一些简单的介绍。因为滥用了这个函数，我可是被老工程师嘲笑的无地自容了。

strtok()函数详解

描述

该函数用来将字符串分割成一个个片段，并返回各子字符串。

函数原型

char *strtok(char *str, const char *delim)

参数

• str，待分割的字符串
• delim，分割符字符串

返回值

该函数返回被分解的第一个子字符串，如果没有可检索的字符串，则返回一个空指针。

实例

//https://tool.lu/coderunner/
//来源：技术让梦想更伟大
//作者：李肖遥
#include <string.h>
#include <stdio.h>
#define INFO_MAX_SZ 80

int main () {
   char str[INFO_MAX_SZ] = "dream - coder - lixiaoyao";
   const char delim[2] = "-";
   char *token;
   
   //获取第一个子字符串
   token = strtok(str,delim);
   
   //继续获取其他的子字符串
   while( token != NULL ) 
   {
      printf( "%s\n", token );
    
      token = strtok(NULL, delim);
   }
   
   return(0);
}

运行的结果如下：

注意事项

使用该函数进行字符串分割时，会破坏被分解字符串的完整，调用前和调用后的s已经不一样了。第一次分割之后，原字符串str是分割完成之后的第一个字符串，剩余的字符串存储在一个静态变量中。

strtok函数在提取字符串时使用了静态缓冲区，因此，它是线程不安全的，多线程同时访问该静态变量时，则会出现错误。本篇为基础篇，在后续中将进一步剖析

拓展一个应用实例

网络上一个比较经典的例子是将字符串切分，存入结构体中，我整理了一下，看代码

//https://tool.lu/coderunner/
//来源：技术让梦想更伟大
//作者：李肖遥

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
 
#define INFO_MAX_SZ 80
 
typedef struct person{ 
 char name[25]; 
 char sex[10]; 
 char age[4]; 
}Person;

int main()
{
 int in=0;  
 int j;
 char buffer[INFO_MAX_SZ]="Aob male 18,Bob male 19,Cob female 20";      
 char *p[20];  
 char *buf = buffer;  
 while((p[in]=strtok(buf,","))!=NULL)//先以,为分界符，将三个人的信息分开
 {  
  buf=p[in];//调用strtok，先将子串先一一保存到字符串指针数组中，  
  while((p[in]=strtok(buf," "))!=NULL)//以空格为分界符
  {  
   in++;  
   buf=NULL;  
  }  
  buf=NULL;  
 }  
 printf("Here we have %d strings\n", in);  
 for (j=0; j<in; j++)  
 {  
    //打印指针数组中保存的所有子串
  printf(">%s<\n",p[j]);  
 }  
    return 0;
}

运行结果如下

按照这个结果并没有得到我们想要的结果，仅仅提取出了第一个人的信息。

那么出现了什么问题呢？

我们分析得到，其实在第一次循环中，strtok函数将第一个人信息后的这个逗号，改为了'\0，这时strtok内部的this指针指向的是逗号的后一个字符。

而在第一个循环结束后，函数第一个参数被设定为NULL，strtok将以this指针指向的位置作为分解起始位置，此时this指针指向的是'\0’，strtok对一个空串无法切分，返回NULL，所以得到上面的结果。

那么我们怎么解决这个问题呢？

我们看一下代码来实现这个想要的结果

//https://tool.lu/coderunner/
//来源：技术让梦想更伟大
//作者：李肖遥

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
 
#define INFO_MAX_SZ 80
 
typedef struct person{ 
 char name[25]; 
 char sex[10]; 
 char age[4]; 
}Person;

int main()
{
 int in=0;  
 int j;
 char buffer[INFO_MAX_SZ]="Aob male 18,Bob male 19,Cob female 20";      
 char *p[20];  
 char *buf = buffer;  
 while ((p[in] = strtok(buf, " ,")) != NULL)//同时以逗号和空格为分界符
 {  
  switch (in % 3)  
  {  
  case 0:  
   printf("第%d个人：Name!\n", in/3+1);  
   break;  
  case 1:  
   printf("第%d个人：Sex!\n", in/3+1);  
   break;  
  case 2:  
   printf("第%d个人：Age!\n", in/3+1);  
   break;  
  }  
  in++;  
  buf = NULL;  
 }  
 printf("Here we have %d strings\n", in);  
 for (j=0; j<in; j++)  
 {     
  printf(">%s<\n",p[j]);  
 } 
    return 0;
}

最终运行的结果如下

额，这样的代码我看不下去了，要实现我们必须提前知道一个结构体中究竟包含了几个数据成员，那么有没有合适的函数能够代替strtok呢？

有的，它就是strtok_r。

Linux下的strtok_r函数

描述

strtok_r是linux平台下的strtok函数的线程安全版。windows的string.h中并不包含它。要想使用这个函数，找到linux下的实现源码，复制到你的程序中即,或者使用GNU C Library。

strtok_r函数是strtok函数的可重入版本。char **saveptr参数是一个指向char *的指针变量，用来在strtok_r内部保存切分时的上下文，以应对连续调用分解相同源字符串。

第一次调用strtok_r时，str参数必须指向待提取的字符串，saveptr参数的值可以忽略。连续调用时，str赋值为NULL，saveptr为上次调用后返回的值，不要修改。

一系列不同的字符串可能会同时连续调用strtok_r进行提取，要为不同的调用传递不同的saveptr参数。

strtok_r实际上就是将strtok内部隐式保存的this指针，以参数的形式与函数外部进行交互。由调用者进行传递、保存甚至是修改。需要调用者在连续切分相同源字符串时，除了将str参数赋值为NULL，还要传递上次切分时保存下的saveptr。

函数原型如下

char *strtok_r(char *str, const char *delim, char **saveptr);

源码

/* Parse S into tokens separated by characters in DELIM.
   If S is NULL, the saved pointer in SAVE_PTR is used as
   the next starting point.  For example:
        char s[] = "-abc-=-def";
        char *sp;
        x = strtok_r(s, "-", &sp);      // x = "abc", sp = "=-def"
        x = strtok_r(NULL, "-=", &sp);  // x = "def", sp = NULL
        x = strtok_r(NULL, "=", &sp);   // x = NULL
                // s = "abc\0-def\0"
*/
char *strtok_r(char *s, const char *delim, char **save_ptr) {
    char *token;
   /*判断参数s是否为NULL，如果是NULL就以传递进来的save_ptr作为起始分解位置；若不是NULL，则以s开始切分*/
    if (s == NULL) s = *save_ptr;
 
    /* Scan leading delimiters.  */
    s += strspn(s, delim);
    /*判断当前待分解的位置是否为'\0'，若是则返回NULL（联系到（一）中所说对返回值为NULL的解释）；不是则继续。*/
    if (*s == '\0') 
  return NULL;
 
    /* Find the end of the token.  */
    token = s;
    s = strpbrk(token, delim);
    if (s == NULL)
        /* This token finishes the string.  */
        *save_ptr = strchr(token, '\0');
    else {
        /* Terminate the token and make *SAVE_PTR point past it.  */
        *s = '\0';
        *save_ptr = s + 1;
    }
 
    return token;
}

实现以上实例

调用strtok_r的代码比调用strtok的代码多了两个指针，outer_ptr和inner_ptr。outer_ptr用于标记每个人的提取位置，即外循环；inner_ptr用于标记每个人内部每项信息的提取位置，即内循环。

strtok_r将原内部指针显示化，提供了saveptr这个参数。增加了函数的灵活性和安全性。

//https://tool.lu/coderunner/
//来源：技术让梦想更伟大
//作者：李肖遥

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
 
#define INFO_MAX_SZ 80
 
typedef struct person{ 
 char name[25]; 
 char sex[10]; 
 char age[4]; 
}Person;

int main()
{
 int in=0;  
 int j;
 char buffer[INFO_MAX_SZ]="Aob male 18,Bob male 19,Cob female 20";      
 char *p[20];  
 char *buf=buffer;  
 char *outer_ptr=NULL;  
 char *inner_ptr=NULL;  
 while((p[in] = strtok_r(buf, ",", &outer_ptr))!=NULL)   
 {  
  buf=p[in];  
  while((p[in]=strtok_r(buf, " ", &inner_ptr))!=NULL)   
  {  
   in++;  
   buf=NULL;  
  }  
  buf=NULL;  
 }  
 printf("Here we have %d strings\n",in);  
 for (j=0; j<in; j++)  
 {     
  printf(">%s<\n",p[j]);  
 } 
    return 0;
}

编译结果如下

注意事项

该函数也会破坏带分解字符串的完整性，但是其将剩余的字符串保存在saveptr变量中，保证了安全性。

Windows下的strtok_s函数

描述

strtok_s是windows下的一个分割字符串安全函数，

原型

char *strtok_s( char *strToken, const char *strDelimit, char **buf);

char * strtok_s（char * restrict str，rsize_t * restrict strmax，const char * restrict delim，char ** restrict ptr）;

在由str指向的以空字符结尾的字节字符串中查找下一个标记。分隔符字符由delim指向的以空字符结尾的字节字符串标识。

该函数被设计为被称为倍数时间以从相同的字符串获得连续的令牌。

这里大家可以参考，我在这里不多讲了。

https://cloud.tencent.com/developer/section/1009645

巨人的肩膀

https://blog.csdn.net/bobyangsmile/article/details/38420985

https://www.runoob.com/cprogramming/c-function-strtok.html

最后

这里先简单介绍下这几个函数的基本使用以及一些优缺点等等，后续会根据自己踩的坑来解读strtok()的隐含特性，下一期，我们再见！

 
 
 
 
 
 
 
 
 嵌入式编程专辑 
 
 Linux 学习专辑 
 
 C/C++编程专辑 
 
 
 
 
 
 关注 微信公众号『技术让梦想更伟大』，后台回复“ m ”查看更多内容，回复“ 加群 ”加入技术交流群。 
 
 
 
长按前往图中包含的公众号关注