🔸딥러닝 기초개념

딥러닝 모델 학습과정

• 데이터: 학습 시키기 위한 데이터
• 모델: 다양한 레이어와 풀링으로 구성된 분석장치
• 로짓: 분석 결과
• 손실: 로짓과 실제 정답과의 차이 계산
• 최적화: 손실을 감소하는 방향으로 모델 파라미터 조정
• 결과: 모델 학습이 완료된 후의 로짓
  

딥러닝 기초 용어

• 퍼셉트론

  • 뉴런 세포를 모방한 딥러닝의 최소 단위
  • 출력: 입력 신호의 가중치합
  • 출력이 문턱값(threshold)보다 큰 경우 1, 그렇지 않다면 0 출력
    

• 레이어

  • 여러 퍼셉트론이 한 층을 이룸
  • 일반적인 딥러닝 구조는 이러한 레이어 여러 층으로 구성
  • 입력 레이어 -> 은신 레이어 -> 출력 레이어
    

• 컨벌루션(Convolution)

  • 모든 픽셀에 가중치 연결된 레이어 만드는 작업 비효율적 - > 필터(커널)로 특징 추출해 국부적 영역의 가중치만 사용
    
  • 웨이트, 필터, 커널, 변수, 바이어스 용어 혼재(다 같은 의미로 사용)
  • 초기 레이어 커널 살펴보면 소벨, 라플라스 필터 등 다양한 형태의 필터 발견 가능
    

• 풀링

  • (패딩 적용 가정) 컨볼루션 필터의 경우, 레이어 무한히 사용해도 유의미한 특징 추출 어려움(정보 응축 X)
  • 풀링을 통해 2차원 데이터의 크기를 줄여 응축
  • 종류: 최대풀링(max pooling), 평균 풀링(average pooling) 등 -> 일반적으로 최대풀링이 가장 널리 쓰임 (엣지 검출)
    
    

• 활성화 함수

  • 다층 퍼셉트론과 컨벌루션의 가중치합 과정 -> 선형대수 형태로 표현 가능
  • 컨벌루션만 적용할 경우 선형적인 정보만 도출됨 -> 모델의 복잡성(비선형성)을 부여하기 위해 컨볼루션 필터링 후 활성화 함수 적용
  • 가중치합 결과가 0 이하인 경우 일반적으로 출력을 0에 가깝게 함
    
    

• 손실 함수

  • 실제 결과와 예측 결과와의 차이
    

• 최적화 과정

  • 손실함수를 최소화
    

• 소프트맥수 함수

  • 딥러닝 모델 통해 나온 출력: -무한대~무한대 범위
  • 이를 확률값(0~1)으로 변환
    

• 학습 속도

  • 파라미터중 하나로, 가중치 업데이트 속도 조절
  • 너무 작게 설정할 경우->학습속도 느려지고, local minimum(국부 최소값)에 빠짐
  • 너무 크게 설정할 경우->제대로 학습되지 않거나 발산함
    

• 배치 사이즈

  • 파라미터를 업데이트 할 때 사용할 데이터 개수
  • cf. 몇 개의 문제를 한 번에 쭉 풀고 채점할지 결정(100문제중 20개씩 풀고 채점->batch:20)
  • 배치 사이즈 클 경우->안정적, 빠른 학습 / 최적의 결과값 도출 어려움
  • 배치 사이즈 작을 경우->최적의 결과값 도출 / 학습 불안정
    

• 에폭

  • 전체 데이서셋을 학습한 횟수
  • cf. 문제집 한 권을 몇 회 풀었는지
  • ex. 10에폭: 모든 학습 데이터 10회씩 사용해 가중치 업데이트
    
    

• 데이터셋

  • 학습용 데이터셋: 모델 학습을 위해 사용
  • 평가용 데이터셋: 모델 성능평가 및 검증을 위해 사용
  • 최근엔 검증용 데이터셋으로 모델 하이퍼파라미터 최적화
    

• 레이블링

  • 주어진 데이터에 정답지를 만들어주는 작업 (사람이 직접 작업)
    

• 클래스

  • 해당 데이터가 속한 군
  • 모델에 통과시켰을 때 도출되길 기대하는 정답 (레이블과도 용어 혼용)
  • 원 핫 벡터(One-Hot vector): 해당 클래스일 때 1, 아닐 때 0으로 표시
    -> 데이터 중복 없이 표현 가능