토큰이란

• 문법적으로 더 이상 나눌 수 없는 기본적인 언어 요소
• 예) 문장에서 공백 문자로 분리된 단어들을 토큰이라고 함
• strtok()에서는 토큰을 분리하는 분리자를 사용자가 지정 가능

예시 코드

#include <stdio.h>
#include <string.h>

int main() {
    char s[] = "A brown fox jumps over the lazy dog"; // 예시 문자열
    char sep[] = " "; // 분리자는 공백
    char *token; // 단어 임시로 저장하는 토큰 선언

    token = strtok(s, sep);

    while (token != NULL) { // 문자열 s에 토큰이 있는 동안 반복
        printf("token: %s\n", token);
        token = strtok(NULL, sep); // 계속해서 토큰 읽으려면 s대신 NULL
    }
}