이미지 시그멘이션 작업에서 어떤 모델의 마지막 레이어 활성함수가 시그모이드 이거나 활성화 함수 없이 Cross-Entrophy 내부의 Softmax를 사용하는 경우를 보고 이 차이를 정리 합니다.

Remind: Sigmoid vs Softmax

다들 잘 아시다시피 시그모이드는 시그모이드 함수를 통해 결과를 0에서 1사이의 값을 가지게 해줍니다. 0에서 1사이의 값을 가진다는 일종의 확률값과 비슷한 결과를 뱉어주고, 소프트맥스는 모든 채널의 출력값을 더하고 각 채널 출력값에 나누어 모든 채널값의 합이 1이 되게 해줍니다.

차이

수식에서 알 수 있듯, 시그모이드 함수는 다른 채널의 값에 영향을 주지 않고, 소프트 맥스는 한가지 클래스의 확률이 제일 높아야 하기에 다른 채널값을 낮추는 효과가 있습니다.
그렇기 때문에, 시그모이드는 라벨이 여러개인 멀티라벨 시그멘테이션에, 소프트맥스는 멀티클래스 시그멘테이션에 사용합니다.

참조
https://glassboxmedicine.com/2019/05/26/classification-sigmoid-vs-softmax/