AI study
1.Sentiment analysis with huggingface BERT(code)
작년 2020년 내가 AI를 공부하면서 많은 기술들을 보았지만, transformer, bert, gpt에 대한 내용을 많이 볼 수 있었다. 이전에 인턴기간 다녔었던 판교 회사에서도 bert를 이용한 챗봇을 강조하면서 홍보를 했었다. transformer에 대한 내용을 boostcamp에서 이해하였고, 이에 대한 코드를 간단하게 찾아 구현해 보았다. 아...
2.AdamW, L2 regularization, weight decay
L2 regularization에 대하여 자세한 정보를 찾아보던 중 좋은 글을 찾았다. AdamW의 논문에 대한 분석으로 총 2페이지로 구성이되어 있었다. L2 regularization과 weight decay에 대한 자세한 설명과 이로 인해 AdamW가 나오게 된 이유로 그림과 수식들을 통해 설명되어있다. https://hiddenbeginner....
3.AdamWR, cosine annealing, warm restart
AdamW글의 포스트가 2개로 나뉘어져 있어, 두번 째 포스트 또한 adamw에 대한 내용일 줄 알았는데 AdamWR에 대한 내용이다. AdamWR에서는 learning rate annealing과 warm restart에 대한 내용을 바탕으로 시작된다. https://hiddenbeginner.github.io/deeplearning/paperrevi...
4.NER with BERT(code)
NER with BERT
5.2020 NLP highlight
2020년의 NLP분야에 대한 hightlight의 좋은 링크들
6.Topic modeling with BERT
LDA 및 NMF와 같은 토픽 모델이 좋은 출발점으로 나타났지만, 의미있는 토픽을 만들기 위해서는 하이퍼 파라미터 조정에 상당한 노력이 필요하다. 사전 훈련된 모델은 단어와 문장의 보다 정확한 표현을 포함해야 하므로 특히 유용하다. 여러 차원감소 알고리즘 중에서 U