[텍스트 전처리] Simple

정성현·2022년 12월 27일
0

인공지능 모델에 학습시키기 위한 다양한 텍스트 전처리 방법이 있지만, 나중에 참고하기 쉽게 그 중에 가장 단순한 특수문자 제거 및 반복문자 제거를 위한 전처리 방법을 기록으로 남긴다.

df['text'] = df['text'].apply(lambda x: re.sub("[^ A-Za-z0-9가-힣]", "", x))
df['text'] = df['text'].apply(lambda x: re.sub("[ +]", " ", x))

profile
데이터에 관심이 많은 백엔드 개발자

0개의 댓글