# NLP

1308개의 포스트
post-thumbnail

GPT Deep Dive (1) GPT 시리즈의 정리: GPT-1 논문 읽기

GPT-1 부터 시작해보자. 오리지널 논문 읽기

약 10시간 전
·
0개의 댓글
·

Transformer

2일 전
·
0개의 댓글
·
post-thumbnail

장르 자동 분류기 만들기 #7

지금까지는 여러 소설 사이트에서 소설 제목, 작가 이름, 소개글, 장르를 가지고 왔다.현재까지 내가 가지고온 소설 사이트들은카카오 페이지 카카오페이지네이버 시리즈 네이버 시리즈문피아 문피아노벨피아 노벨피아이렇게 4가지가 있다.노벨피아는 기본적으로 f12를 막아놨기 때문

5일 전
·
0개의 댓글
·
post-thumbnail

Attention Is All You Need 논문 리뷰

Transformer 논문 리뷰

7일 전
·
0개의 댓글
·
post-thumbnail

CS224n Lec 6: Simple and LSTM Recurrent Neural Networks

LSTM RNN은 예측 시점으로부터 최근에 있는 데이터를 필요로 하는 예측에는 성공적이다. 그러나 가까이 있는 문맥만으로는 부족하고 더 많은 양의 문맥이 필요한 경우에는 RNN이 정보를 서로 연결짓지를 못한다. 이론적으로 시간 차이가 많이 나는 입력들 사이의 의존성을

7일 전
·
0개의 댓글
·
post-thumbnail

[논문 리뷰] Attention is all you need

이번 글에서는 Attention is all you need 논문을 살펴봄과 동시에 논문에서 제시하는 아키텍처이자, 현재로서는 매우 중요해진 transformer에 대해 살펴보도록 하겠다.

2023년 3월 13일
·
0개의 댓글
·

GPT-Neo를 사용해 던전앤드래곤 Spell 생성하기 (1) - 데이터셋 확보

프로젝트 목적 던전앤 드래곤의 Spell을 GPT-2를 이용해 생성해보자 1편. 데이터셋을 확보하자! 우리는 지도학습에 기반해서 Spell을 만들것이므로 기존 데이터셋을 모아주는 것부터 시작해봅니다 오피셜 데이터셋: https://www.kaggle.com/dat

2023년 3월 9일
·
0개의 댓글
·

Game & NLP Workshop (at LREC 2022) 구경하기

주요 컨퍼런스들 워크샵들 둘러보면 종종 재밌고 신기한 주제의 워크샵들을 볼 수 있는데 (특히 1회차 워크샵들) 서치하다가 LREC 2022에서 게임이나 게이미피케이션 쪽에서 NLP 주제들을 발굴한 워크샵이 있어서 둘러보았다

2023년 3월 9일
·
0개의 댓글
·
post-thumbnail

Diffusion 정리

Denoising Diffusion Probabilistic Models (DDPM) 1. DPM dataset을 확률분포로 표현하는 것이 매우 중요하다고 한다. 특히, 우리가 확률분포를 구하고자 할 때에는 tractability와 flexibility라는 개념이 중

2023년 3월 9일
·
0개의 댓글
·
post-thumbnail

NLP - 다양한 모델, 벤치마크

RoBERTa, ELECTRA, ALBERT, GPT3

2023년 3월 8일
·
0개의 댓글
·

정리 필요한 논문들

Attention is All You Needhttps://arxiv.org/abs/1706.03762(NIPS 2017)Real-Time Scene Text Detection with Differentiable Binarization and Adaptive

2023년 3월 8일
·
0개의 댓글
·
post-thumbnail

논문 분석: Learning Transferable Visual Models From Natural Language Supervision

CoCa논문을 읽으며 알게된 사실이 주요 기술이 CLIP이나 SimVLM을 모방했다는 것이다. 그래서 CLIP을 우선적으로 공부 후 찾아봐야겠다 결정하고 CLIP 논문을 분석했다.computer vision의 SOTA는 predetermined object catego

2023년 3월 8일
·
0개의 댓글
·
post-thumbnail

[논문리뷰] DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

기존 문제점 BERT는 Pre-trained + finetuning 하여 사용 Pre-trained는 메모리 용량 및 프로세스 성능 등 많은 자원을 소요하는 문제 DistilBERT 개요 DistilBERT는 기존 BERT-base 보다 40% 가볍고, 60% 빠름

2023년 3월 7일
·
0개의 댓글
·
post-thumbnail

NLP(2)

LoRA 논문리뷰

2023년 3월 6일
·
0개의 댓글
·

Sequence to Sequence Learning with Neural Networks

Seq2Seq를 소개하는 논문입니다. Input의 단어 순서를 뒤집어줌으로써 long sentence에서도 학습이 잘 될 수 있고, 성능 향상도 달성할 수 있다는 것을 보여주는 논문입니다.

2023년 3월 4일
·
0개의 댓글
·
post-thumbnail

NLP(1)

ALBERT에 대해 알아보자

2023년 3월 4일
·
0개의 댓글
·
post-thumbnail

NLP(0)

ELECTRA에 대해서 알아보자

2023년 3월 4일
·
0개의 댓글
·

Using the Output Embedding to Improve Language Models

해당 논문에서는 language model과 neural machine translation에서 input embedding과 output embedding의 weight tying의 효용성을 소개합니다.

2023년 2월 28일
·
0개의 댓글
·
post-thumbnail

Stanford CS224n Lec4: Dependency Parsing

우리는 왜 문장 구조를 알아야할까?인간은 복잡한 의미를 전달하기 위해 단어들을 조합하여 큰 단위의 단어 뭉치를 만든다. 청자는 문장 구조를 통해 의미를 파악하는데 도움을 받고 기계 또한 그 도움을 받기를 원한다.NLP에서 문장의 구조를 파악하기 위해 parsing tr

2023년 2월 27일
·
0개의 댓글
·