PyTorch 🔥

PyTorch를 사용해서 신경망을 정의할 때 사용하는 패키지 torch.nn이 제공하는 기능들

모든 neural network modules의 기본 class

널리 사용되는 datasets, model architectures, computer vision에서의 일반적인 image transformations으로 구성

파이토치에서는 데이터셋을 좀 더 쉽게 다룰 수 있도록 유용한 도구로서 torch.utils.data.Dataset과 torch.utils.data.DataLoader를 제공한다. Dataset을 정의하고, 이를 DataLoader에 전달해서 사용하면 된다.

Dataloader class는 batch기반의 딥러닝모델 학습을 위해서 mini batch를 만들어주는 역할을 한다. 여러 옵션(데이터 묶기, 섞기, 알아서 병렬처리)을 통해 batch를 만들어주어, 학습 시에 data를 batch만큼 편하게 꺼내어 사용할 수 있다.

코드를 작성할 때 torch.nn.Sequantial을 이용하면 forward() 함수에서 구현될 순전파를 Layer 형태로 가독성 높게 작성할 수 있다.

Convolution 연산을 위한 Layer

Pooling 연산을 위한 Layer

입력 데이터에 선형변환(Y = Wx + b)을 한 후 결과를 출력하는 Layer

모델 load

nn.Dropout() Overfitting을 해결할 수 있는 방법 중 하나로, 일부 파라미터를 학습에 반영하지 않음으로써 모델을 일반화하는 방법 Train시에는 Dropout을 적용해야 하지만 Validation, Test에는 적용하면 안됨

Mini-Batch 학습 진행시, Internal Covariant Shift 현상이 나타날 수 있다. 따라서 학습 과정에서 각 배치 단위 별로 평균과 분산을 이용해 정규화해주는데, 이것이 바로 배치 정규화(Batch Normalization)이다! Internal

텐서 에 있는 모든 요소의 최대값 반환demension이 주어질 경우, (values, indices) tuple 반환dim : 1 (→ 방향) , 0 (↓ 방향)

Embedding(임베딩): 이산적, 범주형 변수를 sparse한 one-hot 인코딩 대신 연속적인 값을 가지는 벡터로 표현하는 방식

Python List와 마찬가지로 nn.Module을 저장하는 역할을 하며, index 접근도 가능하다.

자연어 처리에서 전처리시 자주 사용하는 패키지로 토큰화(Tokenization), 단어 집합(Vocab) 만들기, 정수 인코딩(Integer encoding), 단어 벡터(Word Vector) 만들기 등의 기능을 제공한다.

torchtext.legacy.data에는 필드(Field)라는 도구를 제공한다. 필드를 통해 앞으로 어떤 전처리를 할지 정의할 수 있다.

데이터를 불러오면서 필드에서 정의했던 토큰화 방법으로 토큰화를 수행한다.

토큰화 전처리가 끝나면 각 단어에 고유한 정수를 맵핑해주는 정수 인코딩(Integer enoding) 작업이 필요하다. 그리고 이 전처리를 위해서는 우선 단어 집합을 만들어주어야 한다! 정의한 필드에 .build_vocab()을 사용하여 단어 집합을 생성할 수 있다.

파이토치에서는 torch.nn.RNN이라는 명령어를 통해 RNN을 구현할 수 있다.