cs231n

cs231n 스터디

Activation Functions(Data Preprocessing(Weight Initialization(Batch Normalization(Babysitting the Learning Process(Hyperparameter Optimization(sigmoid

CPU(GPU(Pytorch and Tensorflow(딥러닝에 관해서는 NVIDIA가 독점보통 cpu는 한번에 20가지의 일(스레드)을 할 수 있음 gpu 코어의 수가 많다는 것은 어떤 task 를 병렬로 수행하기에 적합하다는 뜻임cpu는 대부분의 메모리를 RAM 에

Fully Connected Layer(Convolutional Layer(Pooling(N N D 이미지를 (NND)\*1 형식으로 만듦기존 이미지의 기하학적구조를 유지 하지 않음N N D 이미지의 shape를 보존한채 입력값으로 사용F \* F 크기의 필터를

Fancier optimization(Model Ensembles(Regularization(Transfer Learning(First Order (1차 미분)가중치 변수가 2개 있을때 loss가 특정 가중치에는 민감하게 반응하고 다른 가중치에는 약하게 반응할때 로스함

LeNet-5(ZFNet(VGGNet(GoogLeNet(Resnet(산업에 적용하여 성공한 최초의 CNNLeNet의 깊은 버전conv -> pool -> norm -> convInput Size(224 224 3)실제입력은 227 227 3AlexNet의 하이퍼

cost function 의 값이 최소가 되도록하는 W 와 b를 찾을 수 있도록하는 알고리즘$$q = x+y,\\frac{\\partial q}{\\partial x} = 1,\\frac{\\partial q}{\\partial y} = 1$$$$f = qz,\\fra