Deep Learning
1.[딥러닝] Linear Regression
주어진 데이터들을 바탕으로 추론해서 가장 fit한 line을 추정Finding a linear equation that represents the correlation of the data.추론한 직선이 데이터에 얼마나 적합한지 수치화한다. MSE(Mean Squrea
2.[딥러닝] Logistic Regression
Linear Regression with several variables.입력이 하나가 아니고 x1, x2, ... xn 여러 개인 경우 Multiple인 경우 Gradient Descent를 어떻게 적용하는가? Easier, performed separately fo
3.[딥러닝] Neural Network #1
A perceptron is an algoritm for supervised learning of binary classifiers. Biological vs Artificial Neural Networks Binary Classifier를 위해 만들어진 ANN -
4.[딥러닝] Optimization
A methodology to find optimum solutionOptimization 방법 중 하나가 Gradient Descent다른 advanced methods를 알아보자.Stochastic Gradient Descent (확률적 경사 하강법)GD updat
5.[딥러닝] Neural Network #4
Underfitting: training과 test errors 모두 높을 때모델이 너무 간단 OR 충분히 training되지 않음Overfitting: training error는 낮으나 test error는 높을 때training 시 noise도 feature로 잡
6.[딥러닝] CNN #1
Convolution f \* hStep 1. Flip the function h.Step 2. Cross-multiply and sum the nonzero overlap terms.Step 3. Slide h to the right by one position.St
7.[딥러닝] CNN Architectures
Pooling도 마찬가지. filter size 대신 kernel size로 계산.Improved hyperparameters over AlexNetDeconvNet: 각 layer에서의 결과를 시각화함 > 현재 layer가 잘 학습하고 있는지 판단할 수 있다.Smal
8.[딥러닝] CNN Training
Dataset이 부족해서 overfitting이 발생하는 문제가진 데이터로 가상의 다양한 데이터를 만들어서 해결Is it plausible? 데이터셋에 추가해도 성능향상이 일어날까.TechniquesShift and crop | Flip | Rotation | Colo
9.[딥러닝] Mid-term Key Points
Make the cost zero, when the hypothesis and y value are exactly the same.Positive error and negative error can make the summation zero.Step 1: Define
10.[딥러닝] RNN #1
Recurrent Neural Network입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델Problem : Input sequence가 너무 길어지면, parameters가 더 많이 필요함Use the same computational function and para
11.[딥러닝] RNN #2
바닐라 RNN은 출력 결과가 이전의 계산 결과에 의존짧은 sequence에서만 효과가 있다는 단점앞의 정보가 뒤로 충분히 전달되지 못할 수 있음Vanishing gradient problemThe problem of Long-Term Dependencies기존에는 sh
12.[딥러닝] Transformer
RNN은 input data를 순차적으로 넣어줘야 함. 한 단어씩.Slow to trainCannot use GPUs parallellyLong sequences lead to vanishing/expolding gradientsTransformer는 문장의 단어들을
13.[딥러닝] GAN
CNN과 다르게 가상의 이미지를 생성CNN은 input에 비해 output은 dimension이 작다.GAN은 input dimention은 작고, 점점 커져서 output은 크다.특정 condition. 작은 사이즈의 벡터. Random noise로 새로운 것을 창조
14.[딥러닝] Adversarial Attack
컴퓨터는 input 이미지에 약간의 noise라도 추가된다면 오동작한다."airliner"로 분류되게 만드는 이미지를 AE(Adversarial Example)이라고 한다.AE를 통해 Deep Neural Net이 높은 확률로 misclassified할 수 있다는 것을