PyTorch: torchtext.legacy.data.TabularDataset

데이터를 불러오면서 필드에서 정의했던 토큰화 방법으로 토큰화를 수행한다.

사용법

from torchtext.legacy import data 

TEXT = data.Field()
LABELS = data.Field()

# Wrapper for dataset splits (train, validation, test)
train, val, test = data.TabularDataset.splits(path='data', # 파일 경로 
											train='train.csv', # train data
                                            validation='valid.csv', # validation data
                                            test='test.csv', # test data
                                            format='csv', # data 파일 형식
                                            fields=[('text', TEXT), ('labels', LABELS)]) # field