PyTorch: torchtext

자연어 처리에서 전처리시 자주 사용하는 패키지로 토큰화(Tokenization), 단어 집합(Vocab) 만들기, 정수 인코딩(Integer encoding), 단어 벡터(Word Vector) 만들기 등의 기능을 제공한다.

설치

다음 명령어를 통해 설치한다!

pip install torchtext