자료 출처

github: https://github.com/hnurxn/Deep-Arc/
paper: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10172675&tag=1

환경설정

NVIDIA gpu -> mac m1 gpu
4 gpus -> 1 gpu (numbering 된 코드 -> 0)
설치 lib: tensorflow -macos, -metadata, -metal, -estimator
데이터셋: CIFAR-10 (target 별 학습)
모델: ResNet (deep 별 학습)

디렉토리 구성

RQ1 폴더

cifar_train.py

RESNET 모델을 이용하여 cifar_10 학습
depth (14,44,86,110,152),divs,targets 설정가능
세부 설정으로 총 12500개의 모델 학습
(divs, targets, deeps, gpus, threshold)

analysis.py

레이어간 cka(:centered kernel alignment)를 구해주는 코드

compute_cka_internal 함수는 주어진 모델과 데이터셋에 대해 CKA를 계산합니다.
이 함수는 모델의 레이어 간의 유사도를 평가하며, 결과는 주어진 경로에 저장됩니다.
heatmap = cka.result().numpy()
heatmap 변수는 CKA의 결과 행렬을 가지고 있고, 이 행렬이 파일로 저장되거나 분석을 위해 사용됩니다.

modularity_analysis.py

ans.pkl 파일을 만들어줍니다.

ans.pkl의 이상적인 결과: :rq1_demo.ipynb: