profile
데이터사이언스를 공부하는 권유진입니다.
post-thumbnail

디지털 신호 처리(DSP) 기초

화자 인식voice agent wake음성을 input으로 받아 디바이스 제어명령을 실행한 결과 음성 합성을 통해 출력TaskSoundSpeech ClassificationAuto-taggingSpeechSpeech-to-Text(음성 인식; STT) = ASR(Aut

어제
·
0개의 댓글

[논문 리뷰] Improving Language Understanding by Generative Pre-training

자연어 이해는 다양한 task를 포함한다.라벨링되지 않은 데이터는 충분한 반면, 특정 task에 맞게 라벨링된 데이터는 매우 부족하다.그래서 이를 모델이 충분히 성능이 나오도록 학습하는 것이 어렵다.라벨링 되지 않은 corpus에 대한 언어 모델의 생성적(generat

2022년 6월 29일
·
0개의 댓글

[D&A 운영진 git 스터디] git, github

소스코드 버전 관리를 위한 오픈소스 소프트웨어기능버전 관리: 기능을 추가, 삭제, 수정 이력을 저장해뒀다가 자유롭게 버전 이동협력: 여러 개발자가 한 폴더 안에 모든 파일 모아두고 분업소스코드 공유git 원격 저장소 중 하나git으로 원격전송된 내역들이 저장되는 공간을

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] DDFL: A Deep Dual Function Learning-based Model for Recommender Systems

지난 20년동안, 유저에 적합한 아이템을 매칭시키기 위해 잠재 기반 협업 필터링이 연구되었다.일반적으로 CF는 2가지 타입으로 나눠진다. \- MLP를 활용한 matching function 학습 \- representation 학습: 잠재 공간에 투영, 내적을

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] Enhancing VAEs for Collaborative Filtering

CF 기반 신경망은 어텐션을 사용하기 시작했다.생성 모델 기반 연구들이 많이 등장 - VAE가 SOTA 만듦VAE를 사용한 CF 연구는 높은 잠재력 보유 \- 유저의 선호도의 잠재 표현을 학습하기에 VAE가 너무 단순한 사전 분포를 사용 \- 깊은 신경망으로 더 깊

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] GLocal-K: Global and Local Kernels for Recommender Systems

추천 시스템은 고차원 sparse한 유저-아이템 행렬 사용행렬 완성은 한 사람의 흥미를 다른 사람의 아이템 구매의 일부를 기반으로 하여 예측하는 도전GLocal-K는 고차원 sparse 유저-아이템 행렬을 저차원 공간으로 표현하고 일반화 \- 적은 수의 중요한 fea

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] Neural Collaborative Filtering

최근에 딥러닝이 음성인식, 컴퓨터비전, 자연어처리에서 엄청난 성공을 이루었다.하지만 추천시스템에서는 상대적으로 덜 적용되었다.이 연구에서는 암시적 피드백 기반의 협업 필터링 추천시스템의 주요 문제를 해결하기위해 신경망 기반의 기술을 발전시킬 것이다.최근에는 딥러닝을 언

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] Generative Adversarial Nets

적대적인 과정을 통해 생성 모델을 추정하는 구조를 제안한다.생성 모델 G는 데이터의 분포를 포착하고, 구별 모델 D는 G 또는 training data로부터 오는 확률을 추정한다.학습과정에서 G는 D가 실수하게 만드는 확률을 최대화시킨다.minimax two-playe

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT는 모든 계층에서 왼쪽, 오른쪽 문맥의 unlabeled text로 부터 깊은 양방향 표현법을 사전 학습하기 위해 설계되었다.사전 학습된 BERT 모델은 추가적인 1개의 output layer만 추가하여 fine-tuning되고 넓은 범위의 task에서 SOTA

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] Improving Language Understanding by Generative Pre-Training

자연어 이해는 넓은 범위의 다양한 task들을 보장했다.textual entailment, QA, 의미 유사도 평가, 문서 분류비록 라벨링 되지 않은 copus들은 많지만 라벨링된 특정 task의 데이터는 충분히 모델의 성능을 높이기에 부족하다.라벨링되지 않은 다양한

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] Attention Is All You Need

지배적인 순서 변환 모델은 Encoder, Decoder을 포함한 복잡한 RNN, CNN을 기반으로하였다.가장 성능이 좋은 모델은 attention 매커니즘을 사용하여 Encoder와 Decoder을 이은 것이다.attention 매커니즘만을 기반으로 한 Transfo

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] Neural Machine Translation by Jointly Learning to Align and Translate

신경망 기계 번역은 최근 제안된 기계 번역 방법이다.전통적인 통계 방식의 기계 번역과는 다르게 번역 성능을 최대화하는 것에 알맞게 단일 신경망을 학습시킨다.최근 제안된 모델은 Encoder-Decoder 구조이며 문장을 고정된 길이의 벡터로 encodeing해 deco

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Abstract CNN은 고정된 비용으로 발전되어왔고 만약 자원이 더욱 있었다면 성능이 더 올랐을 것이다. 해당 논문에서는 모델의 크기를 체계적으로 조절하고 신경망의 깊이, 너비, 해상도의 균형을 맞추면 성능을 더욱 높일 수 있을 것이라고 말한다. 이러한 관점으로 새로

2022년 6월 26일
·
0개의 댓글

[논문 리뷰] Densely Connected Convolutional Networks

최근 합성곱 신경망은 layer 사이에 더욱 짧은 connection을 포함하면서 지속적으로 깊어지고 정확해지고 효율적으로 되고 있다.DenseNet은 각 레이어를 모든 다른 레이어와 이어준다.전통적인 합성곱 신경망은 $L$개의 레이어를 갖고 있다면 $L$개의 연결을

2022년 6월 19일
·
0개의 댓글

[논문 리뷰] Deep Residual Learning for Image Recognition

신경망이 깊어질수록 학습하기 힘들다.지속적으로 깊어지는 신경망을 쉽게 학습하기 위해 residual learning을 제시한다.layer에 input을 더해주는 residual function으로 재구성했다.VGG보다 계층이 깊지만 모델 구조는 덜 복잡하다.ILSVRC

2022년 6월 19일
·
0개의 댓글

[논문 리뷰] Going deeper with convolutions

인셉션(Inception)이라는 합성곱 신경망 구조 제안ILSVRC14에서 분류와 탐지에 SOTA를 제공네트워크 안에서 계산 자원의 효율성을 향상계산량은 일정하게 유지한 채 네트워크의 깊이와 너비 증가질을 높이기 위해 구조는 Hebbian 원리와 multi-scale

2022년 6월 19일
·
0개의 댓글

[논문 리뷰] Very Deep Convolutional Networks For Large-Scale Image Recognition

CNN의 깊이의 효과에 대해서 연구했다.매우 작은 3\*3 convolution filter의 구조로 깊이를 증가시켜 16~19까지 깊이를 증가시켰다.커다란 데이터셋과 고성능 컴퓨팅 기술로 인해 CNN은 이미지와 비디오 인식 분야에서 성공적이다.컴퓨터 비전 분야에서 정

2022년 6월 19일
·
0개의 댓글

[논문 리뷰] ImageNet Classification with Deep Convolutional Neural Networks

ImageNet 120만 이미지 데이터를 1000개의 class로 분류하는 문제를 위해 크고 깊은 CNN을 학습했다.평가 데이터에서 이전 SOTA보다 상당히 성능이 좋아졌다.5개의 convolutional layer와 5개의 max pooling layer, 3개의 F

2022년 6월 19일
·
0개의 댓글

[논문 리뷰] Gradient-Based Learning Applied to Document Recognition(LeNet)

MultiLayer Neural Network는 경사기반 학습 기법인 역전파법 알고리즘으로 학습된다.이 논문은 손글씨 데이터를 기반으로한 이미지 분류 문제를 다루는 방법을 검토한다.2D 형상을 다루기 위해 고안된 CNN은 다른 기법들을 능가한다.실제 문서 인식 시스템은

2022년 6월 19일
·
0개의 댓글

[D&A 운영진 딥러닝 스터디] 5주차 2차시

Generator와 Discriminator가 서로 대립적(Adversarial)으로 학습해가며 점차 성능 개선Generator는 데이터 생성Discriminator을 최대한 속이려고 노력Discriminator는 만들어진 데이터 평가진짜와 가짜 데이터를 구분하려고 노

2022년 2월 10일
·
0개의 댓글