Introduction

과적합을 피하는 5가지
데이터증강, 조기 학습 종료, 배치 정규화, 규제 : dropout, 규제 : 가중치 규제
5가지를 배웠다.
이를 활용해서 가장 좋은 "모델"을 만들어보자.

사용데이터

데이터 셋 구성

모델 정확도 기록

소스코드

#  데이터 입력
from google.colab import files
uploaded = files.upload()
my_data = 'wine.csv'
import tensorflow as tf
import pandas as pd
import numpy
import os
from keras.models import Sequential
from keras.layers import Dense
from keras.callbacks import ModelCheckpoint
# seed 값 고정
numpy.random.seed(3)
tf.random.set_seed(3)
# 데이터 읽기
df_pre = pd.read_csv(my_data, header=None)
df = df_pre.sample(frac=1)
dataset = df.values
X = dataset[: ,0:12]
Y = dataset[:, 12]
# 모델 설정
model = Sequential()
model.add(Dense(30, input_dim=12, activation='relu'))
model.add(Dense(12, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# 모델 컴파일
model.compile(loss='binary_crossentropy’, optimizer='adam',
metrics=['accuracy'])
# 모델 저장 폴더 선택
MODEL_DIR = './model/'
if not os.path.exists(MODEL_DIR):
os.mkdir(MODEL_DIR)
# 모델의 저장 조건 설정
modelpath="./model/{epoch:02d}-{val_loss:.4f}.hdf5"
checkpointer = ModelCheckpoint(filepath=modelpath, monitor='val_loss', 
verbose=1, save_best_only=True)
# 모델 학습 및 저장
model.fit(X, Y, validation_split=0.2, epochs=200, batch_size=200, 
verbose=0, callbacks=[checkpointer])

결과

학습 자동 중단(EarlyStopping 함수)

• 학습이 진행될수록 학습 데이터의 세트의 정확도는 올라가나 과적합으로 인해 검증데이터의 분류 성능은 나빠짐을 보임.
• 학습이 진행되어도 검정 데이터의 오차가 줄어들지 않으면 해당 학습을 조기 종료.

from keras.callbacks import EarlyStopping
early_stopping_callback = EarlyStopping(monitor = 'val_loss’,
mode = 'auto’, 
verbose = 0,
restore_best_weights = False,
patience = 100)

결과