[Pytorch] Tensor vs Parameter vs Buffer

Tensor

• gradient 계산 ❌

• 값 업데이트 ❌

• 모델 저장 시 값 저장 ❌

Parameter

• gradient 계산 🟢

• 값 업데이트 🟢

• 모델 저장시 값 저장 🟢

Buffer

• gradient 계산 ❌

• 값 업데이트 ❌

• 모델 저장시 값 저장 🟢

---

일반적으로 값이 업데이트 될 필요가 없더라도 tensor로 값을 저장하고 싶은 경우 Buffer를 사용한다.

example

self.register_buffer('running_mean', torch.zeros(num_features))