Natural Language DEEP Learning 🤍

klue/bert-basemodel.config 출력 결과학습 조건max_len = 128, epoch = 5\-> max_len = 90, epoch = 4에서 멈춤모델 학습 정도val_accuracy: 0.8263\-> val_accuracy: 0.8239결과6등으

: KLUE(Korean Language Understanding Evaluation)란, 한국어 모델의 성능을 평가하기 위한 일련의 데이터셋. 8가지의 다양하고 대표적인(representative) Task를 포함함.사이트: https://klue-bench

김기현의 자연어 처리 딥러닝 캠프 파이토치 편 - 7장. 시퀀스 모델링 복습단어들의 순차적 조합문장은 단어의 순서 정보(시간 개념)가 포함된 시퀀셜 데이터Ex) 문장 내 단어들은 앞뒤 위치에 따라 서로 영향을 주고 받는다.1️⃣ 가변 길이의 데이터2️⃣ time-ste

1. NNMT (Neural Network Machine Translation) 2. seq2seq > 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델입니다. 예를 들어 챗봇(Chatbot)과 기계 번역(Machine Translat

논문 리뷰 번역글 : https://velog.io/@changdaeoh/Vision-Transformer-ReviewPyTorch 구현 글 : https://hongl.tistory.com/235einops 라이브러리 (피어세션 공유)https&#

1. 현재 한국어 언어모델 SOTA 모델 조사 & 트렌드 파악 KcBERT 구어체/신조어 반영 KcBERT는 2019.01-2020.06의 텍스트로, 정제 후 약 9천만개 문장으로 학습을 진행 KcELECTRA (21년 4월) (https://github.com/Be

1 코퍼스 수집 단계 : Selenium과 BeutifulSoup의 차이 ? (https://rubber-tree.tistory.com/88)2 정제(normalization) 단계 : re.sub(pattern, new_text, text)3 문장 단위 분절

(1) 데이터 크롤링/전처리/증강이 관건, 확보한 데이터셋 기반으로 모델 training 실험 계획 수립하자(2)용어 Counterfactually-augmented data (: 반사실적으로 보강된 데이터)용어 Spurious Correlations (: 허위 상관관

“Context” → 사람은 주변 정보(= Context)를 파악하여 각 단어에 숨겨진 의미를 파악하고 이해함용어 단어 중의성 해소(WSD) : 단어가 가지는 모호성을 제거하는 과정 ⇒ 효과: 자연어 처리의 성능 높임단어불연속적인 심볼로써 이산 확률 변수로 나타냄 →

가정: 문장 내에 같이 등장하는 단어들은 공통 토픽을 공유한다..!중의성을 갖는 각 단어에 대해 사전(ex. 워드넷 등)을 활용해 사전에서의 의미별 설명 사이의 유사도를 구하는(ex. 겹치는 단어의 개수를 카운팅 등) 알고리즘<장점> 워드넷과 같은 잘 분류된 사전

논문: https://aclanthology.org/P10-1046.pdf노션 글: https://utopian-glove-b74.notion.site/Improving-the-Use-of-Pseudo-Words-for-Evaluating-Select

📝 회고 어제 읽은 [Improving the Use of Pseudo-Words for Evaluating Selectional Preferences(2010)] 논문은, 선택 선호도(Selectional Preference) 매커니즘의 evaluation 단계의

카카오브레인 pororo, conda 가상환경에 설치하는 방법 pip install pororo를 했더니 ImportError: cannot import name 'Pororo’ 에러가 떴다. pororo git을 clone하여 직접 conda install -e