컴퓨터는 input 이미지에 약간의 noise라도 추가된다면 오동작한다."airliner"로 분류되게 만드는 이미지를 AE(Adversarial Example)이라고 한다.AE를 통해 Deep Neural Net이 높은 확률로 misclassified할 수 있다는 것을

CNN과 다르게 가상의 이미지를 생성CNN은 input에 비해 output은 dimension이 작다.GAN은 input dimention은 작고, 점점 커져서 output은 크다.특정 condition. 작은 사이즈의 벡터. Random noise로 새로운 것을 창조

RNN은 input data를 순차적으로 넣어줘야 함. 한 단어씩.Slow to trainCannot use GPUs parallellyLong sequences lead to vanishing/expolding gradientsTransformer는 문장의 단어들을

바닐라 RNN은 출력 결과가 이전의 계산 결과에 의존짧은 sequence에서만 효과가 있다는 단점앞의 정보가 뒤로 충분히 전달되지 못할 수 있음Vanishing gradient problemThe problem of Long-Term Dependencies기존에는 sh

Recurrent Neural Network입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델Problem : Input sequence가 너무 길어지면, parameters가 더 많이 필요함Use the same computational function and para

Make the cost zero, when the hypothesis and y value are exactly the same.Positive error and negative error can make the summation zero.Step 1: Define

Dataset이 부족해서 overfitting이 발생하는 문제가진 데이터로 가상의 다양한 데이터를 만들어서 해결Is it plausible? 데이터셋에 추가해도 성능향상이 일어날까.TechniquesShift and crop | Flip | Rotation | Colo

Pooling도 마찬가지. filter size 대신 kernel size로 계산.Improved hyperparameters over AlexNetDeconvNet: 각 layer에서의 결과를 시각화함 > 현재 layer가 잘 학습하고 있는지 판단할 수 있다.Smal

Convolution f \* hStep 1. Flip the function h.Step 2. Cross-multiply and sum the nonzero overlap terms.Step 3. Slide h to the right by one position.St

Underfitting: training과 test errors 모두 높을 때모델이 너무 간단 OR 충분히 training되지 않음Overfitting: training error는 낮으나 test error는 높을 때training 시 noise도 feature로 잡

A methodology to find optimum solutionOptimization 방법 중 하나가 Gradient Descent다른 advanced methods를 알아보자.Stochastic Gradient Descent (확률적 경사 하강법)GD updat

A perceptron is an algoritm for supervised learning of binary classifiers. Biological vs Artificial Neural Networks Binary Classifier를 위해 만들어진 ANN -

Linear Regression with several variables.입력이 하나가 아니고 x1, x2, ... xn 여러 개인 경우 Multiple인 경우 Gradient Descent를 어떻게 적용하는가? Easier, performed separately fo

주어진 데이터들을 바탕으로 추론해서 가장 fit한 line을 추정Finding a linear equation that represents the correlation of the data.추론한 직선이 데이터에 얼마나 적합한지 수치화한다. MSE(Mean Squrea