# Neural Network
7. [딥러닝] Neural Network
https://blog.kakaocdn.net/dn/bAOhTD/btqWGLTnFdr/Wqsqy07SQAGNSltnYUnrXK/img.png이미지 출처 : http://study.zum.com/book/11779앞서 Linear Regression과
[DeepLeaning from Scratch] 신경망 학습
신경망 학습에서 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것손실 함수는 신경망이 학습할 수 있도록 해주는 지표이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표데이터에서 학습한다는 것은 가중치 매개변수의 값
[DeepLearning from Scratch] 신경망
퍼셉트론으로 복잡한 함수도 표현 가능가중치를 설정하는 작업(원하는 결과를 출력하도록 가중치 값을 적절히 정하는 작업)은 여전히 사람이 수동으로 수행예를 들어, AND, OR 게이트의 진리표를 보면서 적절한 가중치 값을 선정하지만, 퍼셉트론과 달리 신경망은 가중치 매개변
[텍스트 마이닝] 4. Classification - Neural Network
Prediction 과 Backpropagation 의 반복이다. 처음에 Weight 값을 임의의 값으로 설정하고 y-y햇이 최소화되게끔 업데이트한다. 참고Discrete, high-dimensional representation of inputs (one-hot ve
Activation Functions
Activation Functions logistic regression에서 linear transformation 결과에 적용한 non-linear transformation인 sigmoid함수가 activation function에 해당된다. activation f
Basics of Neural Network - Perceptron Model
Dendrites : inputs going into nucleus Nucleus : does the calculationAxon : passes output to other neurons Neural Networks mimic this model Generalized
Neural Network
이 그림과 같이 사람의 neuron을 본뜬 perceptron이 엮여있는 것을 neural network라고 한다.저 그림에서 동그라미 하나가 perceptron에 해당한다.인공지능에서는 스스로 생각할 줄 아는 컴퓨터를 만들기 위해 인간의 뇌를 구성하는 신경세포(뉴런)
transfer learning
구조: 훈련된 합성곱 기반 층 -> 훈련된 분류기 라고 하면, 훈련시키기 빠르다는 장점이 있지만, end-to-end 컴파일을 하지 않는 이상, 데이터 증식을 사용하지 못하기 때문에 과대적합될 수 있다.위와 같은 코드를 통해 합성곱 기반층 전체를 freezing 시켜
Neural Network with Pytorch #2
MLP, CNN의 개념 및 학습 성능 비교실험의 dataset으로 CIFAR 10을 사용했다.전체 소스코드는 차후에 github으로 제공한다.
Neural Network with Pytorch #1
MLP, CNN의 개념 및 학습 성능 비교실험의 dataset으로 CIFAR 10을 사용했다. Neural Network with Pytorch #2에서 CNN에 대한 내용으로 이어간다.
[Paper review]Deep double descent
DEEP DOUBLE DESCENT: WHERE BIGGER MODELS AND MORE DATA HURT (2020, ICLR)classical한 통계분야에서 '모델이 너무 크면 좋지 않다'라는게 기본적인 인식있음(Bias-variance trade-off: 모델 복
[Deep Learning] 딥러닝과 뉴럴 네트워크의 관계를 알아보자.
프로그래밍과 딥러닝 차이딥러닝과 뉴럴 네트워크 관계들어가기 앞서 로직과 딥러닝의 차이를 살펴보고자 한다. 프로그램과 딥러닝 모두 입력값, 출력값 그리고 로직을 가지고 있지만 결과물이 다르다.그림이 다소 생소할 수도 있지만 아래 그림을 살펴보자.우리는 이해를 돕기 위해
머신러닝 - 신경망 2
신경망은 해당 구조처럼 입력 - 은닉층 - 출력으로 이루어져 있다.가장 왼쪽에 보이는 x1 x2는 입력층이고 중간에 있는 노드는 은닉층이다. 이런 은닉층을 타고 나온 결과가 y1 y2로 존재한다.이런 신경망의 입력요소가 가중치와 곱해지고 편향을 더해서 다음 노드로 이동
인공지능 신경망 - 1
첫 신경망이 만들어 졌을때는 기대와 많이 달라 신경망처럼 만든다고 인간을 흉내낼 수 없다고 생각하여 실망감과 더불어 암흑기가 왔던 때가 있었음.알렉스 넷이 나타나기 전에는 비슷한 수준에서 고만고만 하였으나 (그럼에도 혁신이긴 했다.) 알렉스 넷이 나타났을 때 인공지능
DeepML. Neural Network - 1
scores function $s = f(x; W) = Wx$ $s$는 score vector(output)이며 $x$는 input이다. SVM loss $Li = \sum{j \ne yi} \text{max}(0, sj - s{yi} + 1)$ data loss
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE (Vision Transformer; ViT) 논문 요약
Google Research가 2020년 10월 22일 arXiv에 제출했고, ICLR 2021 conference에서 발표하였다. CNN을 사용하지 않고 Transformer 아키텍쳐만을 사용하여 이미지 분류 작업에서 매우 좋은 성능을 보인다.
Auto-Encoding Variational Bayes (VAE) 논문리뷰 (2)
리뷰글(1)은 딥러닝 관점에서 표현학습(representation learning)과 생성모델링(generative modeling)에 VAE가 어떻게 녹아들었는지를 알아보고자 하는 성격이었다. 본 글에서는 본문내용을 정주행하며 정리하는 식으로 리뷰를 진행하려 한다.
Batch normalization
이 포스트는 논문 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift의 내용을 정리합니다.
[Paper Review] (2018, KDD) Real-time Personalization using Embeddings for Search Ranking at Airbnb
작성자 : 장아연 & 이성범 1. INTRODUCTION 
Backpropagation in CNN / CNN의 역전파 / cmu 11785 lecture12
11-785. Introduction to Deep Learning / Fall 2020 Lecture12를 듣고 요약/정리한 글입니다.CNN에서 역전파가 어떻게 이루어지는지 딱히 고민해본 적이 없었는데 생각보다 상당히 복잡하다는 것을 알게되었고, 그 상세한 과정들을