# NLP

515개의 포스트
post-thumbnail

Transformer_Encoder

한빛미디어 출판 "구글 BERT의 정석 " 책을 참고해서 작성하는 개인 공부 자료입니다. 혹시 내용에 저작권 등 문제가 있다면 알려주시면 감사하겠습니다.

약 13시간 전
·
0개의 댓글
post-thumbnail

[논문 리뷰📃]R-BERT: Enriching Pre-trained Language Model with Entity Information for Relation Classification

NER(개체명 인식) 태스크를 수행하기 위해 여러 자료를 찾다가 R-BERT를 발견하게 되었습니다. 이 논문을 읽게 된 계기는 monologg님의 R-BERT 레포지토리를 보고 찾아 읽게 되었습니다. Abstract Relation classification은 두 개

2일 전
·
0개의 댓글
post-thumbnail

[AIFFEL] 22.Jan.13 - Exploration, NLP_RNN

Sequence : unordered여도 된단다.텍스트는 문법이란 규칙이 있는데,그걸 기계가 학습하긴 어렵고,그래서 통계를 사용!언어 모델(Language Model)이라 함은: $$P(w n∣w 1,...,w n−1;θ)$: 즉, $θ$라는 파라미터로 $n-1$개 까

5일 전
·
0개의 댓글
post-thumbnail

리뷰-albert: A lite BERT

이 논문은 앞으로 gpu 메모리 한계와 긴 training 학습의 한계점이 올 것이라고 예측을 하고, 이러한 문제를 해결하기 위한 두가지의 파라미터 축소 방법을 제공을 한다. 이를 통해 적은 메모리 사용과 학습 시간을 빠르게 가져갈 수 있는 이점을 가진다.제시할 두 가

6일 전
·
0개의 댓글
post-thumbnail

"Do It! BERT와 GPT로 배우는 자연어 처리" Review

NLP 입문자/독학러를 위한 이론+실습 책

2022년 1월 10일
·
0개의 댓글

[논문 리뷰] Seq2Seq Learning with Neural Networks

나의 Review Abstract 기존 DNN의 한계점 : sequence와 sequence를 매핑하는데 사용할 수 없음 이 논문에서는 문장 구조에 대한 최소한의 가정만 하는 sequence learning에 관한 end-to-end approach를 제시한다.

2022년 1월 10일
·
0개의 댓글

Introduction to NLP (Wk.9)

Introduction to NLP Ch.9.1 to Ch.9.13

2022년 1월 7일
·
0개의 댓글
post-thumbnail

Language Modeling : Generalization, Smoothing, Interpolation, Good-Turing Smoothing, Kneser

N-gram Modeling을 할 때 Count형식으로 확률을 계산하면 거의 0이 나온다. 샤넌 시각화 방법은 우리가 만든 n-gram model에 대해 여러 가지 정보를 제공한다.가령, 셰익스피어를 기반으로 생성된 모델을 살펴보자.문제는, 셰익스 피어 내에 존재하는

2022년 1월 5일
·
0개의 댓글
post-thumbnail

Few-Shot Learning

인간은 사진 몇 장만 가지고 대충 감을 잡아서 예측을 한다. 그러면 인공지능도 수백장을 사용한 fine-tuning없이도 그러한 것을 할 수 있지 않을까? 이러한 철학에서 연구되는 분야가 few-shot learning이다. Training set, Support se

2022년 1월 4일
·
0개의 댓글
post-thumbnail

[정리] Clinical AI: Low Resource Technique, Tasks, Survey, Research, Data, Model, ...

정리 : Low Resource Technique(Data Augmentation), Representation, Survey, Model, Data, Other Technique.

2022년 1월 4일
·
0개의 댓글

Document Embedding with Paragraph Vectors

Doc2Vec인 Paragraph Vector의 성능을 감성분석 이외의 task에서 수행합니다. LDA를 비교대상으로 삼아 비교 결과를 제시하는 논문입니다.

2022년 1월 3일
·
0개의 댓글
post-thumbnail

[논문리뷰]Clinical Natural Language Processing for Radiation Oncology: A Review and Practical Prime(Red journal, Jan 2021)

Review for "Clinical Natural Language Processing for Radiation Oncology: A Review and Practical Primer"

2022년 1월 3일
·
0개의 댓글
post-thumbnail

2021 자연어처리 트렌드

언어를 의사소통수단으로 보는 관점과 internal though로 보는 관점 두 개가 존재한다. EMNLP2021 콘퍼런스에서 Fedorenko’의 FMRI에 기반한 연구에 따르면, 언어는 일종의 predictive한 것으로써, 추론 시스템과 언어 시스템은 분리가 되어

2021년 12월 31일
·
0개의 댓글
post-thumbnail

[논문 요약] Attention is All You Need

Attention is all you need

2021년 12월 31일
·
0개의 댓글