XLNet BERT + GPT AE(Auto Encoder) + AR(Auto Regressive) Factorizationorder고려하여 양방향 학습 AR formula를 통해 BERT한계 극복 Auto Encodeing과 Auto Regressive XLNe

처음으로 하는 논문 리뷰! 선택한 논문은 Attention Is All You Need이다. 현재 NLP분야에서 최고존엄인 BERT모델이 이 논문에서 제안한 Transformer 아키텍쳐의 Encoder를 바탕으로 하고 있다. Transformer는 RNN과 CNN을

코랩 환경에서 모델 test를 위해 모델을 load하고 predict하려는 순간, CUDA out of memory 에러가 발생했다. 다음과 같은 코드로 볼 수 있다. 보다싶이 꽉 차있다..memry를 다시 확인해본 결과, 전보다는 비었지만, 다시 실행하니 또 out

원티드 프리온보딩 세번째 날이다. NLG(Natural language generation) task에 대해 알아보았다. 아직 benchmark가 NLU보다 잘 형성되지 않은 분야이며, 연구가 활발히 진행되는 분야 중 하나이다. 오늘은 NLU의 sub task 중 하나

원티드 프리온보딩 두번째 날이다. 어제 NLP의 대략적인 Task들에 대해 알아본데에 이어, 오늘은 NLU Task에 대해 알아보았다. 그 중 하나의 Sub task인 STS(Semantic Textual Similarity)에 글을 작성하겠다.들어가기에 앞서NLU T

📋 개요 원티드 프리온보딩 ML/DL코스의 첫번째 날이다. 오늘 과제의 개요는 다음과 같다. >1. NLP sub task 2가지 선택 >2. 문제 정의 (해결하고자 하는 task는 무엇인가?) >3. task 해결을 위한 데이터 소개 / 데이터의 구조 설명 >4.

오늘 오전, 호기롭게 터미널을 켜서 Desktop 위치에서 code . 을 실행했다.그 결과....무수히 많은 git의 요청이...!이런 경우에는 당황하지 말고, 내가 파일이 너무 많은 곳에 .git 파일을 생성해서 이 사단이 났구나.. 하고 생각한다.

Section review지도학습 vs 비지도학습비지도 학습 (target값이 없음), 딥러닝과 연계해서 많이 발전 중 linear regressionRegression : 성능은 안좋지만 과적합이 안된다는 장점Regularization (Ridge, Lasso)cla

n231 학습 직접 데이터 셋을 찾고, 문제 (target data) 정하기, 어떤 모델로 할지 선택(분류 or 회귀), 모델에 맞는 평가지표 선택 데이터 누수(leakage) :타겟 변수와 비슷한 변수가 훈련 데이터에 포함된 경우 훈련데이터와 검증데이터를 완전히 분리

오늘 한 일 Model selection (n224) keyword : 모델 선택 하이퍼파라미터 최적화 (최적의 하이퍼파라미터 찾기) CV 교차검증 hold-out 교차검증 K-Fold TargetEncoder GridSearchCV RandomizedSearchC

테크니컬 글쓰기 특강 듣기 sprint challenge인프런 ROC, AUC 강의 끝까지 다 듣기 트리모델과 선형모델을 비교해봤을때 어떤점이 더 좋았나요?간결하다 원핫인코딩보다 오디널 인코딩 쓸 수 있어서 좋았다표준화 안해도 되서 좋았다 특성선택을 알아서 해줘서 편

오늘 한 일 Evaluation Metrics for Classification 공부 keyword : 분류문제 평가지표 confusion matrix 사이킷런에 plotcofusionmatrix 축과 순서를 유의해서 보기! 임계값 (threshold) 정밀도 재현율

ridge regression 복습 및 정리Section2 Sprint1 공부8시 기상 (logistic regression 실습해보고 kaggle 제출하기)

과적합(overfitting)을 해결하는 방법으로는 크게 두가지가 있다. 특성의 갯수를 줄이기 주요특징을 직접 선택 or model selection algorithm 사용정규화를 수행하기 모든 특성을 사용, 하지만 파라미터의 값을 줄인다.여기서 릿지 회귀가 바로 정규

linear regression 복습분산, 편향, 과적합, 과소적합 개념 블로그 정리밥 잘챙겨먹음!\[] ridge, logistic regression 정리\[] note regression 캐글 제출하기\[] 머신러닝 프로세스에 대해 한번 정리해보기\[] (시간이

🤚 참고 아직 ML에 입문한지 한달밖에 안된 머린이가 복습을 위해 '자신만의 언어로' 정리한 글입니다.🤚목표는 일반화의 관점에서 오버피팅과 언더피팅을 설명해보자! 이다.무턱대고 이렇게 말하면 조금 막막한 감이 없잖아 있지만, 흐름에 따라 한번 개념들을 알아가보면,

커피인것 같지만 사실 유기농 보리차ㅎ나름 건강 챙기는 중이다..ㅋㅋㅋㅋㅋ룸메 언니가 준 다쿠아즈! 너무 귀여워서 먹기 아까울 정도였다. 초코버터크림은 정말 맛있어☺️룸메언니 친구가 놀러왔는데 맹치(가명)도 같이 왔다. 너무 귀엽다.. 쿠션을 박박 긁고 거기 위에 몸을

잘가시게

스프린트 챌린지 스프린트 복습assert : 뒤의 조건이 True가 아니면 AssertError를 발생한다.(s2s1 스첼에 나오는 내용)label : 머신러닝(지도학습)의 label은 예측하고자 하는 대상, 곧 target을 가리킨다. 지도학습 비지도 학습 차이 레이

오늘 내가 한 것