가끔 jupyter notebook에서 간단하게 이것저것 코딩을 할 때가 있다. 최근에 Pytorch 2.0 (Stable)과 Lightning 2.0이 동시에 같은 날에 런칭했다. 그래서 필자는 conda 가상환경을 싹 다 밀어버리고 최근에 다 다시 설치를 진행했다.

아침에 자고 일어나니, Pytorch 2.0과 Pytorch Lightning 2.0이 나왔다고 떴다. 이래저래 시간이 많지 않기에 간단하게 설치만 진행해봤다. Pytorch Lightning의 경우, Colab에서만 많이 써보기는 했는데 천천히 써보려고 한다. M1

아침에 자고 일어나니, Pytorch 2.0과 Pytorch Lightning 2.0이 나왔다고 떴다. 이래저래 시간이 많지 않기에 간단하게 설치만 진행해봤다. Pytorch Lightning의 경우, Colab에서만 많이 써보기는 했는데 천천히 써보려고 한다. M1

퇴사한 직후, 필자는 이런저런 공부를 하면서 그리고 조금 쉬기도 하면서 이직 준비를 하려고 했는데 ... 최근 4~5일 전부터 Github를 만들게 되었다. KDT AI 때부터 'Github 해야지'를 무한 되뇌이며 미루다가 최근에서야 만들고 있다. 가장 먼저 만든

패스트캠퍼스에서 KDT AI 1기를 수료하고, 김용담 강사님의 추천으로 KDT AI 2기 LM을 하고 있었다. KDT AI 2기의 경우, 재택(원격) 근무가 가능한 상황이었고, 이어드림2기는 패스트캠퍼스와 중소벤처기업진흥공단과 함께 하는 AI 부트캠프이다. (4월부

: Regression에서 일반적으로 쓰이는 Loss Function 중 하나. Pytorch MSE Loss: 거의 개인 공부 공간이 되어가는 구만

: 필자의 경우, 공부를 하면 할 수록, 기본기에 대한 중요성을 많이 느끼게 되었다. 선형대수학적인 부분과 이에 대한 구현의 필요성을 많이 느꼈다. 그래서 작은 것부터 시작해보려고 한다. (블로그에 수식을 적고 싶은데 귀찮기 때문에 일단 생략)Cross Entropy

썸네일 이미지 출처 : 06 NLP Basic Classification with GRU에서 진행했던 내용을 그대로 진행한다. 단, Model 부분을 Encoder와 TransformerEncoderModel로 교체할 뿐이다. 오늘은 그래서 글이 길지 않을 것이다. 기

썸네일 이미지 출처 INTRO : 이번 포스트에서는 EncoderLayer의 내부를 살펴보도록 한다. 정확히 말하자면, Multi Head Attention, PositionwiseFeedForwardLayer 에 대해서 다룰 것이다. 이 포스트를 보기 전에

썸네일 이미지 출처 : 이번 시간에는 Encoder에 관해서 작성한다. 여기서는 '흐름' 만 파악해도 성공한다고 본다. 제목은 'Encoder and EncoderLayer'라고 하였지만, Encoder 안에 EncoderLayer가 들어있다. 정리를 하면, Enc

NLP에 발을 담근 이상, 트랜스포머는 마주해야한다. 그런데 슬프게도 필자는 무엇부터 봐야할 지 알 수 없었다. 고민 끝에 밤 10시까지 사무실에 남아서 Seq2Seq부터 공부를 하기 시작했다. 시간이 없었다고, 가르쳐주지 않았다고 해서 모른다고 누군가 친절하게 나타

NLP에 발을 담근 이상, 트랜스포머는 마주해야한다. 그런데 슬프게도 필자는 무엇부터 봐야할 지 알 수 없었다. 고민 끝에 밤 10시까지 사무실에 남아서 Seq2Seq부터 공부를 하기 시작했다. 시간이 없었다고, 가르쳐주지 않았다고 해서 모른다고 누군가 친절하게 나타

INTRO 1) 오늘은 Text Classification을 할 예정. 2) RNN 계열 모델 중 GRU로 진행할 예정인데, 특별한 이유는 없다. 3) 성능은 장담하지 않는다. (시계열 데이터 전처리 및 도메인 지식 부재) DACON Basic "쇼핑몰 리뷰 평점

필자의 경우, 패스트캠퍼스 수강생 시절 원래는 Computer Vision 쪽으로 진출하여, 모든 남성분들의 고민인 '탈모' 인지 및 그 정도를 분석하는 모델을 개발하는 일을 하고 싶었다. 하지만, 김용담 강사님의 "NLP 재미있어요." 라는 말 한 마디에 지금까지 N

: 지난 시간에 이어서 시계열 데이터 예측을 다른 모델과 다른 방법으로 진행해보려 한다.: RNN에 대한 기본적인 개념과 지식은 어느 정도 알고 있다고 가정하고 시작하겠다.Kaggle에 Bitcoin Historical Data 라는 데이터셋을 사용한다. EDA, PR

: 오늘은 시계열 데이터 예측을 해보려고 한다.: RNN에 대한 기본적인 개념과 지식은 어느 정도 알고 있다고 가정하고 시작하겠다.Pytorch의 Basic Flow를 익히는 것이 주목적이기 때문Kaggle에 Bitcoin Historical Data 라는 데이터셋을

: 두 번째로 기본적인 CLASSIFICATION 문제를 풀어보려고 한다. Torchvision에서 CIFAR10 데이터를 사용해보도록 한다. EDA, PREPROCESSING 모두 생략 -> BASIC FLOW에 익히는 것이 목적가장 중요 데이터의 Shape 추적은

INTRO : 처음에 가장 부담없는 REGRESSION 문제를 풀어보려고 한다. SCIKIT-LEARN에서 CALIFORNIA HOUSING 데이터를 사용해보도록 한다. EDA, PREPROCESSING 모두 생략 -> BASIC FLOW에 익히는 것이 목적

2022년 이어드림과정에서 LM으로서, 수강생분들의 Pytorch의 Basic Flow를 익히는 데 도움을 줄 수 있도록, '토치의 호흡'을 운영했다. 그 때 당시에 필자 스스로도 공부를 많이 했다. 수강생분들에게 최대한 정확하고 많은 것을 알려드리기 위해서 말이다.

2022년 11월 22일쯤에 우연히 BetterTransformer, Out of the Box Performance for Hugging Face Transformers이 포스트를 발견하였다. 들뜬 마음에, 링크부터 저장하였다. 원래는 무언가 실험을 하고 싶었으나,