Colorectal Cancer Outcome Prediction from H&E Whole Slide Images using Machine Learning and Automatically Inferred Phenotype Profiles

Introduction

• 두 가지 방식의 clustering 과 두 가지 방식의 clustering fusion 방식을 통해, patch 방식과 clustering 방식, clustering 방식들 간의 성능을 비교함.
• 구체적으로, information density clustering 방식과 DNN을 통과시킨 patch에 대해 k-means clustering 하는 방식을 사용함.
• clustering 중에서, SVM을 돌려 validation performance가 0.65 를 넘는 clustering 만 discriminative clustering으로 지정함
• 마지막으로 이를 cluster-level prediction에 활용함.

Method and Experiments

Data
NHS Lothian hospitals CRC stage I and stage II, 75 WSI for 75 patients
40X single pixel indicates 0.11 um x 0.11 um

Patch extraction
224 x 224 pixels are extracted from the 1/10 resolution image (original: 40x)

Data augmentation
Affine transformations, Gaussian blur, and all-channel multiplication

Patch clustering
1) Information density clustering
PNG 파일을 생성할 때 사용되는 압축 알고리즘 (DEFLATE algorithm) 을 사용해서 patch를 압축시켰을 때 압축 비율을 통해 clustering 함.

2) Phenotype clustering
224 x 224 x 3 patch를 ImageNet pretrained VGG16을 거쳐 7 x 7 x 512 로 만들고, 이를 다시 Global average pooling을 거쳐 512 dimensions로 만든 뒤 PCA를 거쳐 50 dimensions features를 각 patch에서 얻는다. 이후 K-means clustering을 통해 k=5, k=10일 때의 값을 얻는다.

Results

4개의 이미지씩 분할해서 생각할 때,
Top right: Information density clustering
Bottom left: phenotype clustering (k=5)
Bottom right: phenotype clustering (k=10)

Ph5-CNNSVM 방법에서, clustering 별 유의미한 interpret이 가능했음.

• clustering 0: outside of the tissue micro-section
• clustering 1: containing blood cells
• clustering 2: containing cancerous and immune cells
• clustering 3: void
• clustering 4: containing fat cells

Majority vote 방법에 대해서는 자세한 언급이 되어있지 않았음.
SVM 관련해서도 training/validation/evaluation ratio가 명시되지 않았음.
5년 뒤 생존해 있을지 아닐지를 True/False 로 학습함.
Clustering 방법을 사용했을 때 cluster level analysis에서 상대적으로 높은 accuracy를 보였음.

Conclusion

• selecting image patches: WSI 로부터 patch를 뽑고 이를 clustering 하여 clustering 별로 학습을 진행한 후 discriminative 하다 판단되는 clustering에 대해서 clustering-level prediction에 사용하였다.