[연구] PaddleSeg : 혈관 세그멘테이션

0. 개요

paddlepaddle(프레임워크)와 paddleseg(라이브러리)설치 완료 후 pre-trained model을 사용해 혈관 세그멘테이션을 수행하고자 함 (학습 데이터가 부재하므로)

1. pre-trained model

1) preparation

세그멘테이션 작업을 위해 필요한 주요 파일

① Pre-trained 모델 가중치
: 선택한 Pre-trained 모델의 학습된 가중치 파일. 일반적으로 .pth, .ckpt 등의 형식으로 저장되며, 이를 모델 로드 시 사용

② 입력 이미지
: 세그멘테이션을 수행할 이미지 파일

③ 코드 파일
: 세그멘테이션을 수행하는 Python 코드 파일 해당 코드는 Pre-trained 모델 로드, 입력 데이터 전처리, 추론, 후처리, 시각화 등의 단계를 포함

④ 추가적인 라이브러리
: 필요한 경우 이미지 전처리나 후처리를 위한 라이브러리들을 설치해야 함

• (PyTorch, OpenCV, NumPy 등이 주로 사용되며 본 연구에서는 가상환경에 설치된 paddlepaddle 프레임워크에서 진행)

2) Steps for segmentation

① pre-trained model 선택

② 모델 로드

③ 입력 데이터 전처리
: 모델에 입력 가능한 형태로 변환하고, 필요한 전처리 작업을 수행

④ 추론 수행

⑤ 후처리
: 추론 결과로 얻은 세그멘테이션 맵에 대해 후처리를 수행하여 노이즈를 제거하거나 세밀한 조정

⑥ 시각화 (결과 저장 or 출력)

2. Get proper model for segmentation

1) Model Zoo

PaddleSeg provides 45+ semantic segmentation models, 150+ well-trained models, 10+ backbones.

본 연구에 적합한 pre-trained 모델 선정 기준

• 의료 영상 세그멘테이션에 적합
• CNN 모델
• 유사 데이터셋(혈관 이미지)에서 trained 되어짐

위 기준에 따라 unet 모델을 선정 (Deeplav3p 도 고려)

2) 혈관 세그멘테이션 수행

① paddlepaddle이 설치된 가상환경 활성화
② pre-trained model 다운로드
③ 혈관 세그멘테이션 수행

paddleseg model zoo link

unet model download

※ 세그멘테이션 코드
GitHub

3. Blood vessel Segmentation

• input
  

• output
  

4. Supplementary Tools

현재 trial 버전으로 사용 중인 DICOM Viewer를 소개한다

1) MicroDicom

2) Radiant Dicom Viewer

위 두가지 툴을 활용해 데이터셋(dicom files)의 이미지를 추출하거나 편집하거나, 조영술 등 다야한 기능을 사용할 수 있다. 중요한 것은 자동화★ 프로그래밍을 통해 수작업이 아닌 일련의 데이터들에 의해 자동으로 작업을 수행해주는 방향으로 개선해나가도록 한다.