Semantic Segmentation에 대해 알아보기 전 Image Segmentation이 무엇인지에 대해 먼저 알아보아야 한다!

Image Segmentation

Image Segmentation이란 일반적으로 이미지를 여러 영역으로 분할하는 과정으로 이 역역의 픽셀은 특정한 특성(certain characteristics)을 공유해야한다. Image Segmentation은 크게 아래와 같은 세가지 task로 나눠질 수 있다.

• Semantic segmentation
• Instance segmentation
• Panoptic segmentation

Semantic Segmentation

Semantic Segmentation이란 이미지를 픽셀별로 분류(classification)하는 것이다. 이미지에 있는 모든 픽셀에 대한 예측을 하는 것이기 때문에 dense prediction 이라고도 불린다.

출처 http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf

Instance segmentation과 구별되게 Semantic segmentation는 동일한 클래스에 속하는 서로 다른 객체를 구별하지 않는다. 예를 들어 위의 예시에서 소가 두마리가 존재 할 때 각각의 소를 구별하지 않고 "소"라는 클래스에 속하는 일종의 픽셀 덩어리로 결과를 도출한다.

📌 활용예시

Semantic Segmentation은 computer vision에서 다양하게 활용되고 있다.

• computer vision 기반 자율주행차

출처 CityScapes 데이터세트

• 배경 제거

출처 ar07/Background_Removal_Semantic_Segmentation

• 가상 이미지 검색

✅ 이미지에 주석 달기(Annotating images)

딥러닝 모델을 훈련시키기 위해서는 대용량의 데이터를 필요로 한다. Semantic Segmentation을 위해서는 픽셀 단위의 정확한 주석이 필요하며 이를 생성하는 것은 지루하고 비용이 많이 든다. 대부분의 경우 기존 segmentation 모델을 활용하여 이미지에 미리 주석을 달고 수작업을 통해 잘못된 부분을 수정하고 모델의 누락된 예측을 채우는 것이 합리적이다. 이러한 방법 외에 손으로 레이블을 직접 채우는 것이 합리적이다.
이는 SuperAnnotate(the Pixel and Vector editors are well suited for annotating images for the semantic segmentation task.)를 통해 수행할 수 있다.

이를 이용하면 편리하게 데이터에 주석을 달 수 있으며, edge 검출을 위한 image segmentation 모델을 실행하거나 custom dataset에 대하여 DeepLabV3를 미세 조정하여 주석 속도를 높일 수 있다.

Instance segmentation

Instance segmentation는 Semantic Segmentation과 매우 유사하지만 동일한 클래스의 서로 다른 객체를 구별한다. 즉 위에서 소를 하나의 덩어리가 아닌 소 1, 소 2로 구별하는 것을 의미한다.

출처 https://pytorchhair.gitbook.io/project/introduction/semantic-segmentation

Panoptic segmentation

Instance segmentation와 Instance segmentation은 이미지에 대한 완전한 이해를 제공하지 못한다. Semantic segmentation은 개체에 라벨링을 진행하는데 적합하고 Instance segmentation은 셀 수 있는 개체를 이해하는 데 적합하다.
Panoptic segmentation은 Instance segmentation과 Instance segmentation 문제를 모두 함께 해결하여 주어진 장면을 보다 자세히 이해할 수 있는 복잡한 컴퓨터 비전 작업이다. 이는 필요한 이미지에서 객체 인스턴스를 동시에 분할하고 레이블을 지정하여 장면에 대한 포괄적인 이해를 제공한다.

출처 https://assets-global.website-files.com/614c82ed388d53640613982e/63ff2439e7e0d22f8c9f5697_panoptic%20segmentation.jpg

Semantic Segmentation Task 이해하기

Semantic Segmentation모델을 거치고 나면 다음과 같은 결과를 도출할 수 있다.

출처 https://www.jeremyjordan.me/semantic-segmentation/#dilated_convolutions

---

One-Hot encoding 으로 각 class 에 대해 출력채널을 만들어서 segmentation map을 만든다. class의 개수만큼 만들어진 채널을 argmax를 통해 위에 있는 이미지 처럼 하나의 출력물을 도출한다.

🔗 출처

• https://medium.com/hyunjulie/1%ED%8E%B8-semantic-segmentation-%EC%B2%AB%EA%B1%B8%EC%9D%8C-4180367ec9cb
• https://www.superannotate.com/blog/guide-to-semantic-segmentation