🟢 Introduction

폐암을 가지고 있는 사람이 생존할지, 사망할지 예측하는 regression 모델

해당 코드에서는 keras 및 Tensorflow에서 제공하는 라이브러리를 통해, 사용자에게 상당히 편리하게 제공되므로, 수식적인 부분은 거의 없습니다.

또한 코드의 길이가 필요한 라이브러리 및 파일을 import하는 것을 제외하곤 10줄 정도 입니다.

직접 수식을 손수 작성했다면 상당히 길어져야할 부분들이 라이브러리를 통해 매우매우 편하게 사용할 수 있게 되었습니다.

이후 직접 수식을 통해 이해하고, 수행하는 과정에 대해서도 다뤄 볼 예정입니다.

Google Colab 환경에서 진행

구글 코랩에 해당 소스코드를 붙여 넣거나,
해당 파일을 다운받아 업로드 하여 사용하면 됩니다.

Github

---

실습 (071_01_ANN_ThoraricSurgery.ipynb)

• 해당 글에서는 071_01만 다뤄보도록 한다.

본격적으로 폐암 수술 환자가 살지 죽을지 예측하는 모델을 만들어 보도록 하자.

---

1) 파일 선택을 통해 예제 데이터를 내 컴퓨터에서 불러온다.
예제 데이터는 CSV파일 형태로 되어있다. (github에 포함)

from google.colab import files
uploaded = files.upload()
my_data = 'ThoraricSurgery.csv

2) 딥러닝을 구동하는데, 필요한 케라스 함수 및 numpy를 불러온다.

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
import pandas as pd
import numpy as np
import tensorflow as tf

3) 실행할 때마다 같은 결과가 출력되도록 하기 위해서 시드를 고정해준다.

np.random.seed(3)
tf.random.set_seed(3)

4) 환자 기록을 불러온다.

df = pd.read_csv(my_data, header=None)
Data_set = df.to_numpy()

환자 기록의 csv 파일을 살펴보자.
행의 개수가 총 470개 즉, 470명의 데이터가 존재한다.
열의 개수가 총 18개로 (1~17)은 종양의 유형을 나타내며, 마지막(18)은 생존여부를 1or0으로 나타낸다.

5) 환자의 기록과 수술결과를 X와 Y로 구분하여 저장한다.
즉, 입력데이터(X)와 결과-정답데이터(Y)로 구분한다.

X = Data_set[: ,0 :17]
Y = Data_set[: ,17]

• X의 :는 행 전체(모든 케이스)를 의미하고 ,뒤의 0:17은 0을 포함한 17 이전까지의 인덱스를 말한다. (0~16 총 17개)

• Y의 :또한 행 전체(모든 케이스)를 의미하고, 17의 인덱스는 18번째를 의미한다.
  (-1을 쓰는 것과 같다)

그림으로 표현한다면 아래와 같이 X(파랑), Y(노랑)과 같이 분류된다.

6) 모델을 정의한다.

model = Sequential()
model.add(Dense(30, input_dim=17, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

• Sequential() : 모델의 틀을 생성한다.

• 첫번째 add()

  • add() : 각 add 하나당 층이 하나씩 추가된다.
  • Dense : Fully Connected한 방식으로 층을 구성한다는 의미이다. 현재에서 다음 노드로의 연결이 완전히 전부 연결 되어있다는 뜻으로 정답을 결정짓는 weight가 모든 연결마다 존재한다.
  • input_dim : 입력되는 feture의 개수가 총 17개이므로 입력으로 들어오는 노드의 개수는 17개이다. 따라서 hidden layer에서 받게 되는 (input_dim)는 17이다.
  • 30 : hidden layer에 사용할 유닛의 개수를 의미한다.
  • activation : 활성함수. vanishing gradient 문제를 발생하는 sigmoid가 아닌 relu를 사용하고 있다.

• 두번째 add()

  • 죽느냐, 사느냐 2진으로 분류 되므로 1개의 노드로 충분하며, 이진 분류에 최적인 sigmoid함수를 사용한다.

층을 하나 더 추가한다면 다음과 같이할 수 있다. input_dim에 유의하여 보자.

model = Sequential()
model.add(Dense(30, input_dim=17, activation='relu'))
model.add(Dense(40, input_dim=30, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

7) 모델을 학습한다. (딥러닝)

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy', tf.ke
ras.metrics.Recall()])
model.fit(X, Y, epochs=100, batch_size=10)

• compile() : 모델을 학습하기 위해서 여러가지 환경설정을 해준다.
  (이러이러한 방식으로 학습을 해줘라고 모델한테 알려주는 것이다.)
  • loss : 비용함수를 어떤 걸로 사용할 것인가?
  • optimizer : 최적화 방법(weight의 update 방법)은 어떤 걸로 사용할 것인가?
  • metrics : 모델을 평가할때, 평가하는 지표로 어떤 걸 보고 싶은가? (정확도, 재현율, F1스코어 등..)

• Fit() : 모델을 학습시킨다.

  • X : 학습데이터

  • Y : 정답데이터
    (학습데이터와 정답을 모델에게 함께 제공하므로 지도학습이다)

  • epochs : 모든 샘플을 통해 학습할 때, 이를 1 epoch이라고 한다. 이때 몇번 학습할 것인가?

  • batch_size : 가중치를 update하는 방법에는 SGD, BatchGD 두가지 방법이 있다.
    이때, SGD라면 1epoch당 470개의 모든 샘플마다 가중치가 update되게 된다.
    BatchGD라면 1epoch당 470개의 샘플을 모두 반영한 1번의 update만 수행하게 된다.

    • 여기서 batch_size를 사용자가 직접 지정하는 이러한 방법이 바로 mini batch방법이다.

mini batch (미니 배치)

이들의 중간지점을 찾아, 타협한 방법이 바로 mini_batch이다. 이러한 batch_size를 지정함으로써 mini_batch를 수행할 수 있다.
예제에서는 batch_size가 10이므로 총 470개의 샘플이 있을 때, 1 epoch 마다 47번의 update가 수행되게 된다.

학습 결과

오차가 꽤나 크게 나왔다. 이를 줄이기 위해서 층을 더 쌓거나, batch_size를 다르게 조절 하거나, optimizer를 변경하거나, optimizer의 내부 lr를 조절하는 등 여러 파라미터를 변경해보고 시도해보면 된다. 이러한 최적의 값을 찾는 것이 딥러닝이다.

비용함수의 종류

비용함수는 사실 거의 고정적이다.
회귀와 분류에 따라 사용되는 비용함수가 다르기에, 변경할 일이 잘 없다.
이번 문제에서는 (생존/사망)의 이진 분류 문제이므로 logistic(sigmoid)잘 표현하는 오차 함수인 binary_crossentropy를 사용했다.
이러한 사용에 대해서는 logistic regression을 참고하면 쉽게 이해될 것이다.

• (참고) Tensorflow의 Loss Function : https://www.tensorflow.org/api_docs/python/tf/losses

최적화(update 방법)의 종류

최적화란 결국, 경사 하강법을 통한 weight값의 update를 뜻한다.

대부분의 모델의 최적화는 거의 고정적으로 adam을 사용한다. 이게 가장 속도도 무난하고 결과도 좋다고 한다.
이외에도 여러 최적화 함수들이 있다. 한번 사용해 보는 것도 좋을 것 같다.

최적화 함수 튜닝? "직접 정의"

최적화 함수의 이름만 들고와서 그대로 default 값의 최적화 함수를 사용할 수도 있지만, 직접 최적화 함수에서의 내부의 튜닝(?)또한 가능하다.
(필자가 해본 바로는 몇몇 종류의 학습은 직접 최적화 함수를 정의해서 내부 튜닝? 또한 시켜주어야 제대로된 학습이 이루어지는 경우도 종종 있었다.)

# 기존의 방법
model.compile(loss='mean_squared_error', optimizer='sgd')
# 직접 최적화 함수 객체를 생성해서 사용
sgd = optimizers.SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) 
model.compile(loss='mean_squared_error', optimizer=sgd)

SGD에 관한 추가적인 고찰

SGD라고 해서, 만약 sample 데이터 100개가 있을 때, 마냥 sample의 순서대로 1, 2, 3,, 100 번째 sample의 순서대로 차례 차례 가중치를 update시키는 것은 아니다.

58, 92, 3, 64, 18, 23 ,... 이런 식의 무작위 순서로 샘플데이터를 가지고 update를 시행하게 된다.

그렇기에 Stochastic Gradient Descent이다.

• 

참고자료

https://www.kaggle.com/learn/intro-to-deep-learning