[제로베이스] 데이터 사이언스 15기 - (09-06 GPT 스터디노트)

오늘 수강한 강의 - GPT 01 GPT 수업 개요 및 자연어 처리 기초 (01 ~ 02), GPT 02 Transformer (01 ~ 05), GPT 03 BERT, GPT (01 ~ 02), GPT 04 Hugging face 라이브러리 (01 ~ 05)

01 ~ 02 GPT 수업 개요 및 자연어 처리 기초

GPT 소개 및 자연어 데이터 특징

기존 연구 간략 소개 및 수학 기초

01 ~ 05 Transformer

Positional Encoding

Multi-head self attention

Layer norm

Transformer 관련 연구 1 : Computer Vision

Transformer 관련 연구 2 : 시계열 데이터

01 ~ 02 BERT, GPT

Transformer 관련 연구 2 : 시계열 데이터

BERT, GPT-2, GPT-3