참고 사이트

• 데이터 사이언스 스쿨: https://datascienceschool.net/intro.html
• 딥 러닝을 이용한 자연어 처리 입문: https://wikidocs.net/book/2155

머신러닝이란?

머신러닝 시스템의 종류

학습하는 동안의 감독 형태나 정보량?

• 지도 학습
  : 훈련 데이터에 레이블, 즉 '답'이 포함됨.
  : 분류, 회귀 등.

• 비지도 학습
  : 훈련 데이터에 레이블이 없음. 즉 시스템이 아무런 도움 없이 학습함.
  : 군집, 이상치 탐지와 특이치 탐지, 시각화와 차원 축소, 연관 규칙 학습 등.

• 준지도 학습
  : 훈련 데이터의 일부만 레이블이 존재. 대부분 지도 학습과 비지도 학습의 조합으로 이루어짐.

• 강화 학습
  : 에이전트(학습하는 시스템)가 주어진 상황에서 어떤 행동을 실행하고 그 결과로 보상 혹은 벌점을 받으며, 시간이 지나면서 가장 큰 보상을 얻기 위해 정책(최상의 전략)을 스스로 학습함.

입력 데이터의 스트림(stream)으로부터 점진적으로 학습 가능한가?

• 배치 학습
  : 가용한 데이터를 모두 사용해 훈련. 보통 오프라인에서 수행됨.
  : 먼저 시스템을 훈련시키고, 적용할 뿐임.(오프라인 학습)

• 온라인 학습
  : 데이터를 순차적으로 한 개씩 혹은 미니배치(작은 묶음 단위)로 주입하여 시스템을 훈련.
  : 적은 비용, 실시간 시스템이나 메모리가 부족한 경우에 적합.

  • 학습률(변화하는 데이터에 얼마나 빠르게 적응하는지)이 높으면 새로운 데이터에 빨리 적응하지만, 예전 데이터를 금방 잊어버림. 학습률이 낮으면 더 느리게 학습하지만, 새로운 데이터의 잡음이나 대표성이 없는 것에 덜 민감해짐.
  • 외부 메모리 학습? 다시 살펴보기!

어떻게 일반화 되는가?

• 사례 기반 학습
  : 훈련 데이터를 기억하여 학습하고, 유사도 측정을 통해 새로운 데이터와 학습한 샘플을 비교하여 일반화.

• 모델 기반 학습
  : 샘플들의 모델을 만드렁 예측에 사용.
  : 핸즈온 머신러닝 2판의 대부분이 모델 기반 학습.

(작성중)

파라미터, 하이퍼파라미터

• 출처: https://bkshin.tistory.com/entry/머신러닝-13-파라미터Parameter와-하이퍼-파라미터Hyper-parameter