쉘 커맨드의 매뉴얼 문서를 보고 싶은 경우man python종료:q 입력폴더를 생성하는 커멘드mkdir linux-test현재 접근한 폴더의 폴더, 파일 확인\-a: .으로 시작하는 파일, 폴더를 포함해 전체 파일 출력\-l: 퍼미션, 소유자,만든 날짜, 용량까지 출력

이미지를 만드는 Autoencoder와 BERT를 비교해보자. 이미지 Model은 Input으로 들어오는 Image가 주어졌을때, Encode와 Decode를 거쳐 Input이미지와 비슷한 새로운 이미지를 생성한다. 하지만 BERT는 들어오는 Input 이미지가 완전

Phthon String 내장 함수 구성 문자열 판별 | 함수 | 설명 | |:----------:|:----------:| | isdigit() | 숫자 여부 판별 | | isalpha() | 영어 알파벳 여부 판별 | | isalnum() | 숫자 혹은 영어 알파벳 여부 판별 | | islower() | 소문자 여부 판별 | | isupper() |...

Re Module은 언어 전처리 할 때, 많은 편리한 기능을 제공해 준다.위 Code와 같이 간단하게 Re Module을 사용할 수 있다. 백준 9342번 염색체 위 문제를 정규표현식과 Re.Complie을 활용하여 해결해보자.처럼 re.compile에 여러가지 조건을

앞으로 있을 전처리를 위해 반드시 암기해 두자!

Huggingface는 Transformers 라이브러리를 구축하고 유지하고 있는 회사이다.이 라이브러리를 통해 오늘날 사용 가능한 대부분의 크고 최첨단 Transformer Model을 사용할 수 있다. ex) BERT, RoBERTa, GPT, GPT-2, XLNe

본격적인 Pstage를 시작하기 앞서, 사람과 컴퓨터는 어떻게 문장을 인식할지 생각해보자화자는 입을 통해, 자신의 생각을 언어로 표현하여 전달한다.청자는 귀를 통해, 자신의 경험을 바탕으로 화자가 전달한 언어를 해석한다.컴퓨터는 자연어를 Vector형태의 수학값으로 인

앞서 배웠던 Transformer Model은 NLP 뿐만 아니라, CV, 추천시스템 등 다양한 분야에서 좋은 성능을 내고 있다.Transformer Model을 기반으로 대용량 Data를 학습한 Model이 여러 Task들을 해결하는 Model에 Backbone으로

위 사진의 구조를 하나하나 뜯어보자!조금 더 다양한 방법으로 Attention을 구할 수 없을까?이전 강의에서 배운 Transformer Model은 한가지의 Wk,Wq,Wv만 고려하여 Attention을 구했다. 조금 높은 성능을 내기위해 다향한 W를 고려할 수 있

RNN Model의 구조적 한계이전 강의에서 RNN Model의 Long Term Dependency를 해결 할 수 있는 Attention Module에 대해 배웠다. 하지만 RNN의 구조적 문제 때문에 근본적인 해결책이 될 수 없었다. 이를 해결 하기위해 나온것이 T

생성한 문장이 잘만들어 졌는지 확인하려면 어떻게 해야할까?'Half of my heart is in Havana ooh na na' 라는 문장을 만들도록 했을 때, Half as my heart is in Obama ohh na 라는 문장이 생성 됬다면 잘 들어진 문장

적절한 문장을 생성하기 위해, 어떤 Time Step의 단어까지 고려 할 것인가?생성된 한 글자만 고려하는 방법한 Time Step만의 단어를 고려하여 문장을 생성할 시, 현재 단어가 잘못 만들어 졌을 경우, 수정할 수 없다는 결점이 생긴다.모든 경우의 수를 고려하는

LSTM은 기존의 RNN의 Long Term Dependency 문제를 해결했다.하지만 RNN 구조가 가지고 있는 근본적 한계의 문제로 Long Term Dependency에 문제에대해 완전히 자유로울 수 없었다.왜냐하면, 엄청나게 긴 Time Step이 지나게 되면

LSTM 이란?RNN에서 발생하는 Long term dependency를 해결할 수 있는 Model 이다.LSTM의 GateLSTM은 어떻게 RNN 구조에서 가지는 근본적인 문제인 Long term dependency를 해결 할 수 있을까? 그 정답은 위 사진에 보이는

시간적 순서가 있는 데이터를 처리 할 때 사용하는 대표적인 모델RNN의 구조는 위의 사진처럼 X0으로 만들어진 H0의 output이 x1의 학습에 사용되는 구조를 갖는다. 여기서 중요한 것은 다음 각 Time Step에서의 Wight parameter A는 공유된다는

Word Embeding 이란?이전 강의에서 배운 bag-of-Words 기법은 단어를 단순히 one-hot-encoding 했기 때문에 단어간의 유사도가 어느정도 인지알 수 없다.예를 들어 참새,독수리,앵무새,호랑이라는 단어가 주어 졌을 때, 각 단어간의 유사도를 계

문장 혹은 문단이 주어졌을 때, 이를 unique한 단어 단위로 dict에 등록하여 저장 한 후, data를 dict의 encoding 된 번호로 vector화하여 사용하는 방법이다.위와 같이 주어진 두개의 문장을 단어 단위로 나눈 후, dict에 단어 단위로 저장한다

RNN 구현 이번 과제의 목표는 Recurrent Neural Network (RNN) 을 이용하여 language modling task 를 학습하는 것이다. RNN 모델을 구현하고, 주어진 데이터를 가공하여 모델을 학습한 후 학습된 언어 모델을 이용해 문장을 생

Spacy란? 파이썬의 자연어 처리를 위한 오픈 소스 기반 라이브러리다.Tokenization과 품사 태깅, 개체 인식 등 기본적인 전처리 기능을 지원하고 있다. Spacy Tokenezation 예시 결과'Naver', 'Connect', 'and', 'Upstage

디스크에 있는 데이터를 모델에 그냥 쓰기에는 적합하지 않은 경우가 많기 때문에 모델을 위한 Dataset으로 변환시켜줘야 한다.데이터는 여러가지가 있는데 모델에 적합한 데이터셋을 만드는 과정은 Deep Learning에 가장 기본이면서 중요한 과정이다.Data scie