.png)
LEAF : A Benchmark for Federated Settings
이번주는 LEAF라는 library에 대해 소개하도록 하겠습니다. LEAF는 realistic한 benchmark dataset을 제공합니다. 링크는 다음과 같습니다. LEAF https://leaf.cmu.edu/Wearable 기기, 휴대전화등 mobile
Weights & Biases conference
3월 26일, weights & Biases x Deeplearning Playground에서 주관하는 conference를 들었습니다. Weights & Biases는 visualization tool로 visualization, logging에 있어 매우 유용한 t
.png)
Improving BERT Fine-Tuning via Self Ensemble and Self-Distillation[., 2020]
오늘 소개드릴 논문은 다음과 같습니다. Improving BERT Fine-Tuning via Self Ensemble and Self-Distillation https://arxiv.org/abs/2002.10345기존 연구에 따르면 BERT계열의 pre-t
.png)
FederatedReverse: A Detection and Defense Method Against Backdoor Attacks in Federated Learning
이번에 소개드릴 논문은 다음과 같습니다. FederatedReverse : A Detection and Defense Method Against Backdoor Attacks in Federated Learninghttps://dl.acm.org/doi/abs
.png)
Federated Learning with backdoor attack
오늘은 Backdoor attack/defense 관련 paper를 읽어보면서 federated learning에 어떻게 접목 시켰는지 확인해 보는 시간을 가져 보았습니다.
.png)
Noise as a Resource for Learning in Knowledge Distillation[.,2019]
오늘은 2021년 IEEE winter conference에 accepted된 paper를 소개하도록 하겠습니다. 논문은 다음과 같습니다. Title : Noise as a Resource for Learning in Knowledge distillation Link
Federated Learning Framework(Flower)
오늘은 publish된 여러 FL Framework중, Flower라는 Framework에 대해 다뤄보도록 하겠습니다.
Federated Learning
오늘은 Federated Learning에 간략하게 살펴보겠다.최근 Mobile device가 점차 증가함에 따라, Mobile device에 딥러닝을 결합한 application이 현재 개발 중에 있습니다. Mobile device의 예시는 다음과 같습니다. Sens
Backdoor Attack
오늘은 Backdoor Attack에 대해 살펴보도록 하겠다. backdoor attack이란?기존에 연구되었던 여러 backdoor attack과 defense방법에 대해 설명하는 논문Backdoor Attack에 대해 살펴보도록 하겠다.neural network는
DeepAR
Probabilistic forecasting이란 과거 데이터의 분포를 통해, 미래의 probability distribution을 예측하는 방법이다. → demand forecasting에서 많이 사용됨. 본 연구에서는 Auto-regressive recurrent
When Does Contrastive Visual Representation Learning Work?[.,2021]
최근 self-supervised learning기술이 발전하면서 supervised/unsupervised learning간의 성능 차이는 좁혀지고 있다. 본 연구에서는 여러 large-scale 데이터셋에 대해 대조적 self-supervised-learning을
.png)
High-Performance Large-Scale Image Recognition Without Normalization[.,2021]
Batch Normalization은 computer vision task에 많이 사용됩니다. 그러나 batch normalization은 batch size에 dependent하다는 단점을 지닌다. 본 연구에서는 좀 더 stable하게 학습하기 위하여 adaptive
.png)
Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results[.,2017]
본 연구에서는 기존에 알려져 있는 Temporal ensembling 방법에서 한 단계 나아가 Mean teacher방법을 제안합니다. Mean teacher는 model의 weight를 평균 내는 방법인데, 적은 수의 label만 가지고 이전 방법에 비해 좋은 성능을
.png)
Distilling the Knowledge in a Neural Network[.,2015]
Model compression방법으로 knowledge distillation를 설명하도록 하겠습니다. Knowledge distillation은 teacher network와 student network의 ensemble을 기반으로 한 방법이라 설명할 수 있습니다
Emerging Properties in Self-Supervised Vision[.,2021] Transformers
Summary Self attention from a VIT with 8 $\times$ 8 patches trained with no supervision 본 연구에서는 Vision Transformer(VIT)의 feature를 self-supervised-le
Memory filter
Memory usage/Computing cost가 많아져 OOM이 발생하는 경우가 종종 존재합니다. 오늘은 Memory usage와 관련하여 간단한 라이브러리 하나를 소개하도록 하겠습니다.Memory profiler library 페이지를 참고하시면 좋을 거 같습니다
.png)
On the effectiveness of convolution autoencoders on image-based personalized recommendation[.,2020]
Introduction 최근 들어 개인화 추천시스템이 여러 플랫폼에서 적용되고 있습니다. (Netflix, Youtube) 본 연구는 user, item, image 정보를 사용하여 user의 취향에 맞는 음식점을 추천하는 데 초점을 두었습니다. (Trip advi
sort / sorted
sort / sorted sort sorted sorted는 정렬된 list의 복사본을 return한다는 특징을 가집니다. 복사본을 return하기 때문에 list는 ground truth 값을 갖게 됩니다. list2는 정렬(default : reverse=False)된 리스트를 갖게 됩니다.
.png)
MMCF : Multimodal Collaborative Filtering for Automatic Playlist Continuation[.,2018]
Introduction 온라인 음원 스트리밍 서비스에 대한 관심이 점점 증가함에 따라, automatic playlist continuation 연구가 진행중에 있습니다. Automatic playlist continuation? Automatic playlist
.png)
NeuRec : On Nonlinear Transformation for Personalized Ranking[.,2018]
본 논문은 user-item의 관계를 explict ratings 대신에 implicit feedback으로부터 나타내는데 초점을 두었다. 저자는 2가지 추천시스템 모델을 제안하였다. (user-based NeuRec / item-based NeuRec) NeuRec은