profile
NLP 공부하는 사람

Word Embedding 이란?

Word Embedding 워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 방법으로, 단어를 밀집 표현으로 변환한다. 1. 희소 표현(Sparse Representation) 원-핫 인코딩을 통해서 나온 원-핫 벡터들은 표현하고자 하는 단어의 인덱

2022년 7월 12일
·
0개의 댓글
·

Multi-Task Learning(MTL) 이란?

Multi-Task Learning(MTL)이란? 여러 관련 task에 포함된 유용한 정보를 활용하여 모든 task의 전반적인 성능을 향상시키는 목표를 가진 머신 러닝의 학습 패러다임이다. MTL 동기 MTL의 중요한 동기는 데이터 희소성 문제를 완화하는 것이다.

2022년 7월 12일
·
0개의 댓글
·

Relation Extraction 공부 일지 (1)

Relation Extraction(관계 추출)이란? :비구조적인 문장에서 구조적인 트리플(triple)를 추출하는 태스크이다. 트리플이란 두 개체 간의 관계(relation)를 으로 나타낸 구조이다. >text: 대한민국의 수도는 서울이다. triple: Relation Extraction을 연구 하는 이유 구조적으로 표현된 정보는 자연어로 표현된 정...

2022년 5월 26일
·
0개의 댓글
·

IPFS 실전 활용

이 문제를 해결하기 위해 많은 NFT가 IPFS(InterPlanetary File System, 분상형 파일 시스템)를 사용한다. 작품을 한곳에 두지 않고, 분산해 보관하자는 의도다. 이렇게 하면 좀 더 안심은 되겠지만, IPFS를 사용하는 호스팅 비용을 지불해야 한

2022년 5월 16일
·
0개의 댓글
·

IPFS에 대하여

수업시간에 IPFS 주제로 발표하면서 공부한 것을 작성한 글입니다. 틀린 내용이나 부족한 내용이 있으면 댓글로 친절히 알려주세요! IPFS란? InterPlanetary File System(IPFS)는 모든 컴퓨터를 연결하고자 하는 분산된 P2P 파일 시스템이다.

2022년 5월 14일
·
0개의 댓글
·

BERT에 CRF, BiLSTM, BiGRU 결합하는 방법

Python 3.8.3transformers 4.16.2torchcrf 0.0.1BiLSTM이나 BiGRU를 사용할때는 pack_padded_sequence와 pad_packed_sequence 함수를 사용한다. 나는 이부분에서 에러가 발생했다. 여기서 주의해야할 몇가

2022년 2월 14일
·
0개의 댓글
·

Tokenizer 제작하기

개요 현재 대부분의 NLP task는 PLM (Pre-trained Language Model)을 통한 전이 학습이 대세로 자리잡았다. 하지만 긴 Pretraining을 수행 전 vocab을 만드는 건 정말 중요하다. 좋은 vocab을 만드는 것이 곧 토크나이징 퀄리

2022년 2월 14일
·
0개의 댓글
·

What Does BERT Look At? An Analysis of BERT's Attention - 논문 리뷰 (작성중)

논문 소개 : What Does BERT Look At? An Analysis of BERT's Attention Clark, Kevin, et al. "What does bert look at? an analysis of bert's attention." arXiv

2022년 1월 19일
·
0개의 댓글
·
post-thumbnail

[자연어 처리] Google BERT (1) - Transformer 알아보기 (작성중)

1. BERT란? Google에서 만든 사전 훈련된 모델이다. 등장 당시 11개의 NLP task에서 SOTA(State-Of-The-Art)를 기록한 어마어마한 모델이다. BERT의 모델은 Transformer(인코더-디코더 구조)를 기반으로 하고 있다. BERT는

2022년 1월 19일
·
0개의 댓글
·