# MRC

31개의 포스트

[부스트캠프 AI-Tech] 17주차 Day 1~5

Generation based MRC 구현, BM25 구현, Elastic Search 구현, 하이퍼 파라미터 튜닝Open Domain Question Answering task를 완벽하게 이해하기체계적인 실험관리 하기다양한 실험해보기Hyperparameter Tuni

2022년 7월 25일
·
0개의 댓글
·

[부스트캠프 AI-Tech] 16주차 Day 3

Retriever-Reader의 한계5-10개의 문서만 reader에게 전달 (Error Propagation)query에 따라 정답이 되는 answer span에 대한 encoding이 달라짐 (Query-dependent encoding)Retrieve-Read 두

2022년 7월 25일
·
0개의 댓글
·

[부스트캠프 AI-Tech] 16주차 Day 2

Closed-book Question Answering이미 pre-train으로 대량의 지식을 학습했다면, pre-trained model 자체가 하나의 knowledge storage라고 해석가능사전학습 시 전혀 본 적없는 Natural Question 데이터셋에 어

2022년 7월 25일
·
0개의 댓글
·

[부스트캠프 AI-Tech] 16주차 Day 1

Bias 종류학습에서 Biasinductive bias (학습할 때 특정 형태의 함수를 선호)현실에서 Biashistorical bias (현실이 편향되어 모델에 원치 않는 속성이 학습)co-occurrence bias (표면적인 상관관계 때문에 원치 않는 속성이 학습

2022년 7월 25일
·
0개의 댓글
·
post-thumbnail

KoELECTRA로 기계독해(MRC) API 개발

KoELECTRA라는 자연어 모델로 MRC API를 만들어보고자합니다

2022년 7월 15일
·
0개의 댓글
·

[프로젝트 회고] ODQA

어제자(22.06.17)로 부스트캠프 AI Tech 3기 과정이 모두 종료되었다.과정 회고는 추후 작성하도록 하고 밀린 프로젝트를 하려고 한다. (사실 프로젝트가 끝난 후 했어야 하는데 부캠 과정은 프로젝트가 끝나고 바로 프로젝트가 시작되는 구조였어서 그러지 못했다.

2022년 6월 16일
·
0개의 댓글
·

[부스트캠프 AI-Tech] 15주차 Day 4~5

CHoRaL: Collecting Humor Reaction Labels from Millions of SocialMedia Users 논문 리뷰최종 프로젝트 관련 조사베이스라인 수정 및 실험 (하이퍼 파라미터 위주로)강의 1~7강 수강삶의 지도, 이력서 작성빠르게 베

2022년 5월 6일
·
0개의 댓글
·

[부스트캠프 AI-Tech] 15주차 Day 3

Sparse embedding의 한계차원의 수가 매우 크다 → compressed format으로 극복 가능유사성을 고려하지 못함Dense Embedding더 작은 차원의 고밀도 벡터 (length = 50~1000)각 차원이 특정 term에 대응되지 않음대부분의 요소

2022년 5월 6일
·
0개의 댓글
·

[부스트캠프 AI-Tech] 15주차 Day 2

Generation-based MRC주어진 지문과 질의를 보고, 답변을 생성 (생성 문제)평가 방법EM, f1 Score (Extraction-based MRC와 동일한 방법)모델 구조Seq-to-seq PLM 구조Prediction 형태Free-form text 형태

2022년 5월 6일
·
0개의 댓글
·

[부스트캠프 AI-Tech] 15주차 Day 1

MRC (Machine Reading Comprehension)기계 독해주어진 지문을 이해하고, 주어진 질의의 답변을 추론하는 문제MRC 종류Extractive Answer Datasets질의에 대한 답이 항상 주어진 지문의 segment(or span)으로 존재Des

2022년 5월 6일
·
0개의 댓글
·

TAPAS: Weakly Supervised Table Parsing via Pre-training 논문 설명

테이블 QA 문제를 해결하기 위해 질문을 의미구조로 변경하는 작업을 생략하고 테이블 속 사용할 셀위치를 학습하는 방법을 고안함

2022년 2월 9일
·
0개의 댓글
·
post-thumbnail

Automatic Reference Counting

오래 기다렸다. ARC가 무엇일까? 자바의 Garbage Collector와는 무엇이 다를까? 장단점은 무엇일까? 어떤 원리로 동작하는 것일까? 발생하는 문제점은 무엇일까? 어떻게 해결할 수 있을까? 이러한 내 궁금증들을 담았다.

2022년 2월 5일
·
0개의 댓글
·
post-thumbnail

QA with Phrase Retrieval

Error propagationReader가 아무리 뛰어나도 Retreiver가 제대로 된 context를 전달하지 못한다면 전체 프로세스의 성능이 떨어진다.Query-dependent encdoingquery에 따라 answer span의 encoding이 달라진다.

2021년 10월 20일
·
0개의 댓글
·

Negative in-batch

query batch는 기존대로 유지한다. passage batch가 달라진다.1개의 positive passage와 batch_size개의 negative passage로 총 batch_szie + 1 개의 데이터로 하나의 batch를 구성한다.passage batc

2021년 10월 18일
·
1개의 댓글
·
post-thumbnail

Reducing Training Bias

Bias는 지양대상이 아니다. 하지만 일부 bias로 인해 모델의 성능에 악영향을 끼치는 경우가 있고, 이러한 bias issue는 해결해야 한다.ML/DLinductive bias(ref)학습 시에는 만나보지 않았던 상황에 대하여 정확한 예측을 하기 위해 사용하는 추

2021년 10월 18일
·
0개의 댓글
·
post-thumbnail

Linking MRC and Retrieval

앞선 Passage retrieval과 다르게 웹 전체, 혹은 위키피디아 전체와 같이 광범위한 Domain에서 Passage retrieval을 수행해야 한다. Context가 따로 주어지지 않는다. World Knowledge에 기반해서 QA 진행Modern sear

2021년 10월 17일
·
0개의 댓글
·
post-thumbnail

Passage Retrieval - Scaling up

Passage retrieal and Similarity Search Approximating Similiarity Search FAISS

2021년 10월 17일
·
0개의 댓글
·
post-thumbnail

[Day 47] Boostcamp AI-Tech

2021년 10월 15일 Day 47

2021년 10월 15일
·
0개의 댓글
·
post-thumbnail

[Day 46] Boostcamp AI-Tech

2021년 10월 14일 Day 46

2021년 10월 14일
·
0개의 댓글
·
post-thumbnail

Dense Embedding

Passage Embedding 중 Spare Embedding은 보통 90% 이상의 벡터값들이 0이다.차원의 수가 매우 크다.compressed format으로 극복 가능유사성을 고려하지 못한다.매우 유사한 단어라도, character가 달라지면 전혀 다른 차원으로

2021년 10월 14일
·
0개의 댓글
·