🤖 인공지능 개론 정리

인공지능 개론

• 2016년에 알파고 나오고 인공지능 인기가 폭발적으로 증가했다.

• 인공지능 => 여러 분야에 폭 넓게 적용될 수 있다.

• rule-based AI => 규칙에 적합하게 처리하는지가 가장 중요하다.

• 머신러닝 => 모델은 만들어 놓고 데이터의 규칙을 찾는 것이다.

  • 데이터 과학이 주목받고 있다.

딥러닝

1. 모델을 만드는 단계 (껍데기를 만들어 준다.)
2. 학습(with Large-Scale Dataset)
3. Interence/Testing (Real-World Execution) => 추론

Issue - Overfitting

• 데이터 자체가 부족한 경우
  • 따라서 데이터 과학이 매우 중요하다.

CNN

• 이미지를 처리할 수 있다.
• 시각적 정보 처리

RNN

• 사슬처럼 연결이 되어 시간에 대한 정보를 알 수 있다.
• 시간이 들어간 정보 처리

Visual Learning

• Object Recognition
• Style Trasfer -> 이미지 처리 기반
• Deblurring and Denoising -> 노이즈 제거 후 해상도 복원
• Super-Resolution -> 비디오 해상도를 올린다.
• Identification

GAN - Generative Adversarial Network

• 무언가를 생성하는 기술이다. 새로운 창작물을 도출
• 예술, 미술, 안무 등의 분야
• Generators(생성자), Discriminator(검사자) 의 경쟁을 통해 능력을 올린다.
• Discriminator의 성능이 좋으면 Generators의 성능도 올라간다.

---

Python/TensorFlow Examples

• tensorflow 또는 keras

  • tensorflow 는 유연성이 높다. => 대신 하나하나 만들어야 한다.

  • keras는 블록을 쌓듯이 코딩한다고 표현이 된다.

=> node1, node2의 반환값은 텐서형이다.

=> 따라서 session을 사용해서 출력해주어야 한다.

=> with을 감싸서 만들어 줄 수도 있다.

• 회사에서는 keras를 사용하는 것이 더 좋다.

Placeholder

=> placeholder: 배열(행렬)이라고 생각하면 된다.

=> feed_dict: 값을 넣어준다.

---

Regression and Classifiation

• regression => 회귀분석=> 선형으로 경향성을 판단한다.

Linear Regression

• model: H(x) = Wx + b (W, b의 값을 찾아야 한다.)

=> 오차들의 평균을 구해서 Cost 함수를 도출한다. =>가장 적도록 해야 한다.

=> 제곱이기 때문에 2차원 함수가 된다.

=> Gradient Descent Method (경사 하강법)

=> 컵일 때만 경사 하강법이 적합하다.

---

Classification

Binary Classification

• ex) 스팸인지 아닌지 => Spam Detection
• ex) Facebook Feed => 나에게 보여줄지 말지
• ex) Credit Card Fraudulent Transaction Detection
• Tumor Image Detection In Radioloy => 방사선 판단

Basic Idea

• step1) Linear regression with H(x)= Wx+b
• step2) Logistic/sigmoid function (sig(t)) based on the result of Step 1.
  • 0과 1 사이로 값을 제한해준다.

=> 모델이 직선이면 컵처럼 생겼겠지만, binary classification model 은 컵처럼 이쁘게 생기지 않았다.

=> H(x) ,y 둘 다 0이면 아무런 사건이 일어나지 않았다.

=> y는 1이면 사건이 발생, H(x)는 0 이면 잘못판단한 것이다.(ai 틀림) => cost가 발생

=> y=0이면 사건 발생 x, 그러나 H(x) 가 1이면 또 잘못판단. => cost 발생

=> y=1, H(x)=1 이면 잘 판단한 것이다. => cost가 발생하지 않는다.

---

SoftMax Classification (Multinomial Classification)

• 바이너리로 대답할 수 있도록 해야 한다.
• 바이너리 기반이기 떄문에 여러번 질문을 하는 것이다.

=> A인지, B인지, C인지를 판단한다.

=> 시그모이드 값이 0.5보다 큰 게 2개라면? => 시그모이드 값이 큰 것을 고른다. (가장 유사한 것을 판단.)

=> ~이냐 아니냐 : linear combination

=> X는 인풋 값

=> A,B,C 중에 가장 큰 값을 찾는다.

Cost Function : Cross-Entropy

• 로그를 기반으로 한다.

=> 값이 엇갈리게 되면 cost가 무한대로 된다.

---

ANN (Artificial Neural Networks)

• 인공신경망

• 딥러닝

• Nonlinear Functions

=> 어떤 신호는 증폭, 감소 또는 무시

=> 역치를 넘으면 신호가 전달되었다고 판단

=> activation function: 시그모이드를 씌우고 판단

=> hidden layer를 만들어준다. 많아질수록 계산이 정교해진다.

=> hidden layer가 많아지면 기준점이 많아진다. 복잡한거를 잘 분류할 수 있다.

=> hidden layer 1의 행렬과 2의 행렬은 완전히 다르다.

Application to Logic Gate Design

• 선으로 나누는 것이 가능하다.

• XOR 연산

  • 동일할 때 0이고 다르면 1인 연산자
  • 직선으로 나눌 수 없다.

• Multilayer Perceptron(MLP)

=> 100개의 layer = 1개의 outlayer + 99개의 hidden layer

Solving XOR with MLP

=> A, B는 세로로 2개 값이 있어야 한다.

---

총 학습하는 변수는?

1x3 3x1

32개 +9개 => 41개

---

• 유닛이 늘어나면 그 만큼 정교하게 나눌 수 있다.

• wide와 deep 중 deep이 더 성능이 좋다.
  • 기준이 늘어나는 것이 powerful 하다.

• layer의 적합한 갯수는 해봐야 안다.

• 압축 효과가 일어나서 원본의 성질이 떨어지는 경우가 있다.

• input size 만큼 layer를 쌓아줘야 원본의 성질이 보장된다.

Gradient Vanishing Problem

• layer를 딥하게 쌓으면 시그모이드가 계속 붙게 된다.

  => 따라서 값이 사라지게 된다. (The numberous multiplication of this result converges to near zero.)

ReLU (Rectified Linear Unit)

• layer를 deep하게 쌓을 수 있게 되었다.

왜 딥러닝이 인기가 많아졌을까?

• ReLU for solving Gradient Vanishing Problem
• Convolution Layers for Multi-Dimensional Inputs
• Big-Data
• GPU
  • 그래픽스를 빠르게 연산하는 것
  • 연산만 빠르게만 하다. 행렬 연산를 빠르게 할 수 있다. => 그래서 딥러닝에 많이 사용되는 것이다.
  • 캐시도 없다.

---

암달의 법칙

원핫인코딩

---

MNIST Data Set

• 사람의 손 글씨임

• Hand written images and their label

CNN: Convolution

• Strides (step-size of filter moving) => 건너뛰는 것
• Padding
• Pooling Layer (Sampling)=> 줄이는 것
  • max pooling: 큰 값을 뽑아준다.

• input을 필터를 씌어서 softmax에 넣어주는 것이다.
• 인풋을 그대로 받아들이는 것이 아니고 필터를 거쳐서 학습을 시키는 것이다.
  • 필터도 학습이 되는 것이다.
  • 따라서 분류하기가 더욱 쉬워진다.

RNN (Recurrent Neural Networks)

• cell : 하나의 인공신경망, 시간에 대한 개념을 넣어준다.

• 구조 설계가 제일 중요하다.

---

GAN (Generative Adversarial Network)

• 가장 혁신적인 기술

• 무언가 생성하는 기술이다.

• 경쟁을 통해서 학습한다.

• 단점은 초기에 너무 느리다.

=> Discriminator 는 이진 분류기다. (지도학습)

=> Generator model (비지도학습)

---

Interpolation vs Linear Regression

• 딥러닝은 x, y의 관계를 규명해준다.
• 강화학습

Dimensionally Reduction: PCA and LDA

• PCA => 차원은 줄었지만 모양은 최대한 남기는 것

• LDA => 차원을 줄이고 분류하기 적합하게

Overfitting

• 학습할 때 데이터를 충분히 줘야한다.
• 오차가 생길 수 있다.

How to overcome?

1. more training data
2. Reduce the number of features => autoencoding, dropout
   1. dropout를 현업에서 많이 사용한다.
3. Regularization