PaddleSeg Usage - ①

1. Preparation

• paddlepaddle, paddleSeg Installation
  hjee2018@velog : Installation Tutorial

git clone https://github.com/PaddlePaddle/PaddleSeg.git
cd PaddleSeg
pip install -r requirements.txt
pip install ftfy regex
cd contrib/SegmentAnything/

• download image & vocab

wget https://paddleseg.bj.bcebos.com/dygraph/demo/cityscapes_demo.png
wget https://bj.bcebos.com/paddleseg/dygraph/bpe_vocab_16e6/bpe_simple_vocab_16e6.txt.gz

다운로드가 제대로 안된다면 직접 다운로드 후 아래와 같이 위치시킴

• PaddleSeg/contrib
  ├── SegmentAnything
  │ ├── examples
  │ │ └── cityscapes_demo.png
  │ ├── segment_anything
  │ ├── scripts
  │ └── bpe_simple_vocab_16e6.txt.gz

2. Segment Anything on webpage

1) gradio로 제공되는 SAM 사용

• gradio 설치

pip install gradio

• 모델 실행
  python scripts/text_to_sam_clip.py --model-type vit_b
  
  

※ model type

• There are three SAM model options for you, vit_b, vit_l and vit_h, represent vit_base, vit_large and vit_huge. Large model is more accurate but slower. You can choose the suitable model size based on your device.
• 이 중 가장 경량화된 모델(vit_b)를 사용

2) 일반 사물 segmentation

가장 경량화된 모델을 사용해서인지 정확도가 다소 떨어지는 것을 확인

3) Radiant Segmentation

• input

  • input radiant jpg
    
  • output
    
  • output mask
    

3. 혈관 segmentation

• 연구의 주 목적은 dcm파일로 제공되는 혈관 이미지로 부터 혈관을 segmentation하는 것.
• 일단 PaddleSeg github에서 가장 유사한 모델을 찾아보도록 한다.
• 또한 dcm파일을 바로 segmentation하는 코드는 찾기 힘드므로, 이전에 작성한 dcmToPng코드를 사용해 png파일로 변환 후 segmentation 하도록 한다.