논문 리뷰

MultiLayer Neural Network는 경사기반 학습 기법인 역전파법 알고리즘으로 학습된다.이 논문은 손글씨 데이터를 기반으로한 이미지 분류 문제를 다루는 방법을 검토한다.2D 형상을 다루기 위해 고안된 CNN은 다른 기법들을 능가한다.실제 문서 인식 시스템은

ImageNet 120만 이미지 데이터를 1000개의 class로 분류하는 문제를 위해 크고 깊은 CNN을 학습했다.평가 데이터에서 이전 SOTA보다 상당히 성능이 좋아졌다.5개의 convolutional layer와 5개의 max pooling layer, 3개의 F

CNN의 깊이의 효과에 대해서 연구했다.매우 작은 3\*3 convolution filter의 구조로 깊이를 증가시켜 16~19까지 깊이를 증가시켰다.커다란 데이터셋과 고성능 컴퓨팅 기술로 인해 CNN은 이미지와 비디오 인식 분야에서 성공적이다.컴퓨터 비전 분야에서 정

인셉션(Inception)이라는 합성곱 신경망 구조 제안ILSVRC14에서 분류와 탐지에 SOTA를 제공네트워크 안에서 계산 자원의 효율성을 향상계산량은 일정하게 유지한 채 네트워크의 깊이와 너비 증가질을 높이기 위해 구조는 Hebbian 원리와 multi-scale

신경망이 깊어질수록 학습하기 힘들다.지속적으로 깊어지는 신경망을 쉽게 학습하기 위해 residual learning을 제시한다.layer에 input을 더해주는 residual function으로 재구성했다.VGG보다 계층이 깊지만 모델 구조는 덜 복잡하다.ILSVRC

최근 합성곱 신경망은 layer 사이에 더욱 짧은 connection을 포함하면서 지속적으로 깊어지고 정확해지고 효율적으로 되고 있다.DenseNet은 각 레이어를 모든 다른 레이어와 이어준다.전통적인 합성곱 신경망은 $L$개의 레이어를 갖고 있다면 $L$개의 연결을

Abstract CNN은 고정된 비용으로 발전되어왔고 만약 자원이 더욱 있었다면 성능이 더 올랐을 것이다. 해당 논문에서는 모델의 크기를 체계적으로 조절하고 신경망의 깊이, 너비, 해상도의 균형을 맞추면 성능을 더욱 높일 수 있을 것이라고 말한다. 이러한 관점으로 새로

신경망 기계 번역은 최근 제안된 기계 번역 방법이다.전통적인 통계 방식의 기계 번역과는 다르게 번역 성능을 최대화하는 것에 알맞게 단일 신경망을 학습시킨다.최근 제안된 모델은 Encoder-Decoder 구조이며 문장을 고정된 길이의 벡터로 encodeing해 deco

지배적인 순서 변환 모델은 Encoder, Decoder을 포함한 복잡한 RNN, CNN을 기반으로하였다.가장 성능이 좋은 모델은 attention 매커니즘을 사용하여 Encoder와 Decoder을 이은 것이다.attention 매커니즘만을 기반으로 한 Transfo

자연어 이해는 넓은 범위의 다양한 task들을 보장했다.textual entailment, QA, 의미 유사도 평가, 문서 분류비록 라벨링 되지 않은 copus들은 많지만 라벨링된 특정 task의 데이터는 충분히 모델의 성능을 높이기에 부족하다.라벨링되지 않은 다양한

적대적인 과정을 통해 생성 모델을 추정하는 구조를 제안한다.생성 모델 G는 데이터의 분포를 포착하고, 구별 모델 D는 G 또는 training data로부터 오는 확률을 추정한다.학습과정에서 G는 D가 실수하게 만드는 확률을 최대화시킨다.minimax two-playe

최근에 딥러닝이 음성인식, 컴퓨터비전, 자연어처리에서 엄청난 성공을 이루었다.하지만 추천시스템에서는 상대적으로 덜 적용되었다.이 연구에서는 암시적 피드백 기반의 협업 필터링 추천시스템의 주요 문제를 해결하기위해 신경망 기반의 기술을 발전시킬 것이다.최근에는 딥러닝을 언

추천 시스템은 고차원 sparse한 유저-아이템 행렬 사용행렬 완성은 한 사람의 흥미를 다른 사람의 아이템 구매의 일부를 기반으로 하여 예측하는 도전GLocal-K는 고차원 sparse 유저-아이템 행렬을 저차원 공간으로 표현하고 일반화 \- 적은 수의 중요한 fea

CF 기반 신경망은 어텐션을 사용하기 시작했다.생성 모델 기반 연구들이 많이 등장 - VAE가 SOTA 만듦VAE를 사용한 CF 연구는 높은 잠재력 보유 \- 유저의 선호도의 잠재 표현을 학습하기에 VAE가 너무 단순한 사전 분포를 사용 \- 깊은 신경망으로 더 깊

지난 20년동안, 유저에 적합한 아이템을 매칭시키기 위해 잠재 기반 협업 필터링이 연구되었다.일반적으로 CF는 2가지 타입으로 나눠진다. \- MLP를 활용한 matching function 학습 \- representation 학습: 잠재 공간에 투영, 내적을

자연어 이해는 다양한 task를 포함한다.라벨링되지 않은 데이터는 충분한 반면, 특정 task에 맞게 라벨링된 데이터는 매우 부족하다.그래서 이를 모델이 충분히 성능이 나오도록 학습하는 것이 어렵다.라벨링 되지 않은 corpus에 대한 언어 모델의 생성적(generat

딥러닝 방법은 라벨링된 학습 샘플 수가 제한되면 성능이 감소한다.= few shot learning 상황few shot learning에서는 이전에 보지 못한 class instance의 분류 정확도가 감소한다.= zero shot learning 상황zero shot