# Data fusing
Paper Review #9 - MM-BiFPN: Multi-Modality Fusion Network with Bi-FPN for MRI Brain Tumor Segmentation
Syazwany, Nur Suriza, et. al., "MM-BiFPN: Multi-Modality Fusion Network with Bi-FPN for MRI Brain Tumor Segmentation", IEEE Access 9(2021):160708-160720 이번 논문은 멀티모달 데이터를 처리하기 위한 multi encoder, late fusion, BiFPN 방식을 도입한 네트워크에 대한 논문이다. 본 논문에서 제안하는 MM-BiFPN은 크게 Multimodal encoder Cross-modality fusion Shared decoder 의 세가지 피쳐로 구성되어 있다. 전체적인 구조는 이와 같다. 일단 각 모달리티 데이터가 따로 추출 되고, 추출된 데이터들은 de
Paper Review #8 - Feature Pyramid Networks for Object Detection
Lin, Tsung-Yi, et al. “Feature pyramid networks for object detection.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2017 Feature pyramid는 다양한 스케일의 object를 탐지하기 위한 방법이다. 본 논문에서는 DCN(Deep Convolution Network)에서 다중 스케일 피라미드 계층구조를 사용해 feature pyramid를 구축한다. Lateral connection을 포함한 Top-down 구조를 통해 모든 scale에서 고차원의 semantic feature map을 구축한다. 또한 FPN을 Faster R-CNN에 적용한다. Preview 이 논문에서 언급하는 Pyramid란 Convolution network를 통해 얻은 feature map을 피라미드 형태로 쌓아올린 것을 의미한다.
Paper Review #7 - A Dual-Path Cross-Modal Network for Video-Music Retrieval
Gu, X., Shen, Y., & Lv, C.,"A Dual-Path Cross-Modal Network for Video-Music Retrieval", Sensors, 23(2), pp.805, 2023 본 논문에서는 감정적인 정보와 컨텐츠 정보를 통합해 dual path cross modal retrieval network를 구축한다. content 기반 retrieval은 비디오와 음악 모두 semantic content(비디오의 이벤트나 음악의 주제같은)관련 정보를 가지고 있다고 간주한다. 따라서 추가적인 레이블 정보 없이 비디오와 음악 쌍만을 사용하여 self-supervising이 가능하다. 하지만 비디오 데이터와 음악 데이터 간 이질성이 크기 때문에 이러한 이질성을 바탕으로 감정 정보를 활용하는 것이 효과적이다. VER과 MER에서 감정을 추출하고 인식하는데 사용되는 딥 러닝 네트워크는 크게 단일 네트워크와 결합 네트워크로 구분된다.단일 네트워크는 주로