profile
學而時習之 不亦說乎

Highway Networks

신경망의 깊이가 깊어질수록 학습이 어렵다는 문제를 해결해주는 highway network를 소개하는 논문입니다. highway network는 ELMo 논문에서 활용된다고 언급되어 있습니다.

2023년 5월 13일
·
0개의 댓글
·

Regularization of Neural Networks using DropConnect

Layer의 activation에 drop을 적용하는 dropout의 일반화인 Layer weight에 drop을 적용하는 DropConnect를 소개하는 논문입니다. DropConnect가 dropout의 일반화 버전임을 보이고 성능이 더 좋다는 것도 보여줍니다.

2023년 2월 21일
·
0개의 댓글
·

Recurrent Neural Network Regularization

Dropout을 non-recurrent connection에만 적용하여 RNN 계열에 dropout을 활용할 수 있는 방법을 제안하는 논문입니다.

2023년 2월 17일
·
0개의 댓글
·

Regularizing and Optimizing LSTM Language Models

Hidden-to-hidden weight matrix에 DropConnect mask를 적용하여 기존 LSTM 수행에 변화를 주지 않아도 되는 weight-dropped LSTM과 학습 최적화 방식으로 NT-ASGD를 소개하는 논문입니다.

2023년 2월 16일
·
0개의 댓글
·

An Empirical Exploration of Recurrent Network Architectures

LSTM과 GRU보다 나은 성능을 보이는 architecture를 찾으며, LSTM의 각 gate들의 중요도를 평가하고 LSTM의 forget gate bias로 1을 사용할 때 LSTM의 성능이 향상됨을 보이는 논문입니다.

2023년 2월 9일
·
0개의 댓글
·

On the Properties of Neural Machine Translation: Encoder–Decoder Approaches

고정되지 않은 길이의 input을 다루기 위해 convoluton network를 응용한 grConv를 소개하고, GRU와 machine translation 측면에서 성능을 비교하는 논문입니다.

2023년 2월 7일
·
0개의 댓글
·

Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

RNN Encoder-Decoder 모델을 소개하면서 추후 GRU라고 이름붙은 LSTM 변형 Unit을 소개하는 논문입니다.

2023년 2월 3일
·
0개의 댓글
·

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

RNN의 reccurent unit으로 tanh, LSTM, GRU 성능을 비교하는 논문입니다. LSTM에서 간소화된 GRU가 LSTM과 큰 성능 차이가 없다고 볼 수 있는 논문입니다.

2023년 2월 3일
·
0개의 댓글
·

Improving performance of recurrent neural network with relu nonlinearity

ReLU를 사용하는 RNN에서 vanishing 혹은 exploding gradient없이 학습하기 위해 recurrent 초기 가중치 행렬로 positivie definite identity matrix를 활용하는 np-RNN에 관한 논문입니다.

2023년 2월 1일
·
0개의 댓글
·

ALL YOU NEED IS A GOOD INIT

딥러닝 학습을 효율적으로 할 수 있는 가중치 초기화 방식은 LSUV를 소개하는 논문입니다.

2022년 12월 7일
·
0개의 댓글
·

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

input의 분포를 안정적으로 유지시켜 신경망 학습 속도를 높여 학습 성능을 높일 수 있는 Batch Normalization을 소개하는 논문입니다.

2022년 11월 22일
·
0개의 댓글
·

XGBoost: A Scalable Tree Boosting System

정형 Data 분석에서 파워풀한 성능을 보이는 대표 모델인 XGBoost를 소개하는 논문입니다.

2022년 11월 2일
·
0개의 댓글
·