Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문 요약 정리
🤗 Transformers를 이용하여 pretrained model을 fine-tuning하는 방법을 배워보고 sentiment analysis(감정 분석) task를 간단하게 수행해봅니다.
🤗 Transformers의 AutoTokenizer를 활용하여 text를 전처리하는 방법을 배워봅니다.
🤗 Transformers의 AutoClass의 종류와 활용방법에 대해 배워봅니다.
🤗 Transformers의 pipeline() 메소드를 이용하여 자연어처리 task를 간단하게 수행합니다.
Formal Algorithms for Transformers 논문 요약 정리
colab에 torchdata 설치하는 방법과 설치할 때 발생하는 ERROR 해결하기
spaCy의 Tokenizer와 torchtext을 활용하여 말뭉치를 단어 사전으로 바꾼다. 단어 사전을 활용해 데이터셋을 구성하고 학습을 위한 데이터로더를 구성하는 방법에 대해 배운다.
spaCy의 Tokenizer와 torchtext의 Vocab을 활용하여 말뭉치를 단어사전으로 바꾸는 실습을 진행해본다.
토큰화를 위해 사용되는 자연어처리 라이브러리인 NLTK, spaCy, torchtext에 대해 알아본다.