[U_stage] - week 6 Day 4

[Day4] 2021/09/09

강의 리뷰

-CV 4강: Semantic Segmentation

• Semantic Segmentation: 영상단위가 아닌 픽셀단위를 classification을 수행.
• Fully Convolutional Networks (FCN)
  : 첫 end-to-end(입력에 출력까지 미분가능한) 구조, 호환성이 높은 구조.
  - fully connected: 공간정보를 고려하지 않고 fixed dimensional vector를 또 다른 fixed dimensional vector로 출력.flattening 수행.
  - fully convolutional: 입력부터 출력까지 spatial하다.(1*1conv 피쳐맵의 모든 피처벡터를 분류)
  - predicted score map은 저해상도 -> upsampling으로 해결
  - upsampling: Transposed convolution/ Upsampling convolution
  - Transposed convolution: 일부만 overlap되는 문제가 있음
  - Upsampling convolution: Nearest-neighbor나 Bilinear같은 interpolation하고 convolution을 적용
  - FCN
  : 낮은 레벨의 레이어는 receptvie field가 작기 때문에 국지적이고 작은 디테일에 민감. 높은 레이어는 해상도는 낮아지지만 의미론적이고 전반적인 정보를 포함한다. 두 특징을 모두 가져야함.(upsampling)
  : 전반적으로 빠르고 좋은 성능을 가짐. 경계선도 잘 따라감.

• U-Net
  - fully convolutional
  - skip connection을 통해 낮은 층의 특징과 높은층의 특징을 잘 결합.
  - 홀수 입력과 피쳐가 생기면 안됨
  
• DeepLab
  • Conditional Random Fileds(CRFs): 이미지의 경계를 더 뚜렷하게.
  • Dilated convolution: 한칸씩 띄어서 더 넓은 영역을 고려. receptive field가 증가.
  • Depthwise separable convolution: 채널별로 convolution(Depthwise convolution) -> pointwise convolution. 효율적인 계산량.