Pathology Image Compression Using Deep Learning 연구 전 의료 도메인에 대한 지식이 부족하여 병리학, 병리 이미지에 대한 핵심적인 개념만 간략하게 정리한 글입니다.
참고 자료 출처
[의료 인공지능 전문가 양성과정] 의료데이터의 이해:병리 영상
https://www.youtube.com/watch?v=olcjy5l_VvQ
[의료 인공지능 전문가 양성과정] 병리 이미지를 활용한 인공지능 사례 실습
https://www.youtube.com/watch?v=syOfFbuKDMU
Pathology
Pathology는 Pathos(질병) 와 Logos(학문)을 합한 용어이다.
직접적인 관찰과 검사를 통해 질병의 원인, 발생, 경과 등을 연구하는 학문이다.
주로 전자현미경, 디지털 스캐너를 통해 세포 소기관(Organelles)에 대한 특징이나, 미세한 구조를 관찰한다고 한다.
명확한 조직, 세포에 대한 구별을 위해 염색을 하게 되는데, 가장 대중적으로 사용되는 염색방법이 H&E Stain이라고 한다.
Hematoxylin & Eosin Stain(H&E Stain)
이미지 출처 : https://ko.wikipedia.org/wiki/H%26E_%EC%97%BC%EC%83%89
H&E 염색이라고 하며, H는 헤마톡실린, E는 에오신을 의미한다.
헤마톡실린은 푸른색으로 염색된다.
염기성 및 양전하(Positive charge)를 띈 물질로, 이와 반대되는 산성/음전하(Negative Charge)를 띈 물질과 결합한다. 주로 세포핵 내 DNA/RNA에 반응하여 세포핵을 파란색으로 염색한다.
에오신은 붉은색으로 염색된다.
산성 및 음전하를 띈 물질로, 이와 반대되는 염기성/양전하를 띈 물질과 결합한다. 주로 세포질(cytoplasm)을 붉은색으로 염색한다.
Digital, Computational Pathology
디지털 병리,컴퓨터 병리학이라고 하며, 인공지능 기술을 사용하여 디지털 병리영상과 관련 메타데이터를 분석하는 것을 의미.
Pathology Image
디지털 병리 영상의 특성
이미지 출처: https://www.youtube.com/watch?v=syOfFbuKDMU
WSI(Whole Slide Image) 이미지 1장의 평균 용량은 4.6GB라고 한다. (Uncompressed Image의 경우 10GB가 넘는다.)
- WSI : 병리학에서 사용하는 고해상도 디지털 이미지로, 전체 조직 슬라이드를 스캔하여 얻은 이미지.
픽셀의 경우 로 매우 큰 사이즈라고 할 수 있다.
Structure 이미지를 보면 레벨 0는 스캔한 이미지 원본
레벨이 높아질 수록 1개의 패치에 들어가는 세포의 수, 즉 정보량은 많아지지만, 정교함(화질)은 떨어진다(Lowest Resolution).
반대로 레벨이 낮아질 수록 1개의 패치에 들어간 정보량은 줄어들지만, 화질은 높아진다(Highest Resolution).
Structure의 레벨 별 resolution 수치(1/2,1/4,...)는 스캐너에 따라 다르다고 한다.
WSI 파일의 형태(File Formats) 즉, 확장자는 스캐너에 따라 다양한 확장자를 가진다.
- Aperio(.svs, .tif)
- Hamamatsu(.vms, .vmu, .ndpi)
- Leica(.scn)
- MIRAX (.mrsx)
- Philips (.tiff)
- Sakura (.svslide)
- Trestle (.tif)
- Ventana (.bif, .tif)
- Generic tiled Tiff (.tif)
이를 파이썬에서 사용하기 위해서는 openslide라는 파이썬 라이브러리를 사용하고, 이미지를 뷰어 툴은 QuPath를 사용한다.
디지털 병리 영상과 인공지능
병리 이미지를 활용하여 다양한 인공지능 태스크 연구가 활발히 진행되고 있다. Pathology Image 관련 Survey Paper를 조사해보니 크게 세 종류의 연구가 활발히 진행되었다.
- Classification
- Segmentation
- Detection
QuPath
위에서 언급한 디지털 병리 이미지를 보기 위한 뷰어툴이다.
아래 깃허브 경로를 통해 .svs 파일을 다운로드 받아보자.
.svs 샘플 이미지
https://github.com/camicroscope/Distro/blob/master/images/sample.svs
QuPath를 열어 해당 부분에 다운로드 받은 파일을 드래그앤 드랍해보자.
드래그 앤 드랍했다면, 다음과 같이 염색 방법을 묻는 창이 출력될 것이다. 위에서 언급했다시피 제일 대중적인 방법이 H&E Stain이므로 첫 번째를 선택 후 Apply를 눌러보자.
아래 이미지와 같이 이미지가 잘 보이는 것을 확인할 수 있다.
좌측에 열린 Image탭을 보면 파일명, 저장경로, 파일 가로&세로 크기, 용량, Pyramid 구조 등의 메타 데이터 정보를 확인할 수 있다. 샘플 데이터라 이미지를 출력하는데 의의를 둔 데이터인 것을 알 수 있다.
데이터를 핸들링하기 전에 데이터에 대한 정보나 규칙을 알아야
