Abstract
simple adaptive multi-modal fusion network for brain tumor segmentation
=> two stages of feature fusion (simple average fusion + adaptive fusion based on an attention mechanism)
dataset: BraTS2020
source code: https://github.com/Zirui0623/A2FSeg
Introduction
T1,T1x, T2, Flair 같은 multimodal image scan을 사용
실제로는 동시에 모든 모달리티들을 수집하는 것이 어려움, 한가지가 누락되는 경우 발생
Method
Modality-Specific Feature Extraction (MSFE) Module:
fusion하기 전에 각 {T1, T2, T1c, Flair}마다 특징을 추출, nnunet model 사용, 가중치 다름
Average Fusion Module:
평균특징 수식: F¯ = (1/Nm) * Σᵢ Fᵢ 사용
(Nm: 모달리티의 수)
Adaptive Fusion Module:
가중치가 다르므로 최종에 기여정도가 다름, attention map 생성하기 위해서 각 특징과 평균 특징 결합해서 convolutional layer 통과 -> 가중치 얻기
Loss Function:
cross-entropy + soft dice score 사용
