profile
AI researcher, Software Engineer
post-thumbnail

Precision과 Recall

자신이 어떤 기술을 개발하였다. 예를 들어 이미지에서 사람을 자동으로 찾아주는 영상 인식 기술이라고 하자. 이 때, 사람들에게 "이 기술의 검출율은 99.99%입니다"라고 말하면 사람들은 "오우...!!!" 하면서 감탄할 것이다. 반면에 "이 기술의 검출율은 50%입니

2022년 7월 17일
·
0개의 댓글
·
post-thumbnail

Knowledge Distillation

Knowledge Distillation = 지식(Knowledge) + 증류(Distillation) 지식 : 어떤 대상에 대하여 배우거나 실천을 통하여 알게 된 명확한 인식이나 이해 증류 : 액체를 가열하여 생긴 기체를 냉각하여 다시 액체로 만드는 일. 여러 성분

2022년 7월 4일
·
0개의 댓글
·
post-thumbnail

자연어 생성 (NLG)에서 자주 사용되는 디코딩 알고리즘 들

tl;drGreedy: Select the best probable token at a timeBeam Search: Select the best probable responseRandom Sampling: Random based on probabilityTempera

2022년 6월 6일
·
0개의 댓글
·

PyTorch에서 이미지 데이터에 대해 normalize를 할 때, mean=[0.485, 0.456, 0.406]과 std=[0.229, 0.224, 0.225]를 쓰는 이유는?

PyTorch vision 모델 페이지에 가보면, "All pre-trained models expect input images normalized in the same way, i.e. mini-batches of 3-channel RGB images of shape

2022년 4월 27일
·
0개의 댓글
·
post-thumbnail

GLaM: Efficient Scaling of Language Models with Mixture of Experts

최근, 딥러닝 연구가 과한 전기를 사용하고, 이것이 지구온난화를 악화시키고 있다는 연구들이 많이 나오고 있다. 이 논문은 그러한 사회 분위기를 이해하고 거대 모델을 학습시킴에 있어서 더 적은 계산량만으로 충분히 좋은 성능을 내게 만드는데 초점을 맞추었다이 논문은 Int

2022년 4월 8일
·
0개의 댓글
·