# question answering

4개의 포스트

[논문 리뷰] QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering (NAACL 2021)

QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering https://github.com/michiyasunaga/qagnn CodaLab Worksheets Abstract LM, KG를 사용한 QA의 두 가지 문제점이 있다. QA에 연관된 정보를 거대한 KG에서 찾기 QA context와 KG 사이에 joint reasoning 하기. 이러한 문제점을 두 가지 핵심 혁신으로 해결한 QA-GNN relevance scoring - 주어진 QA 맥락에서 KG nodes의 중요도 측

2023년 1월 21일
·
0개의 댓글
·
post-thumbnail

[논문 리뷰] QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering(2021)

1. Introduction 기존의 Question Answering(QA)에서는 거대한 규모로 학습된 언어모델을 fine-tuning하는 방식으로 학습이 이루어지기도 했으나, 이러한 방식은 몇 가지 한계점을 가집니다. answer prediction에 대한 설명력(explainability)가 부족 structured reasoning에 취약(ex. 부정에 대한 질문에서 오류가 많음) 따라서, 본 논문에서는 언어모델(LM)과 지식그래프(KG)라는 knowledge base를 동시에 사용하여 QA를 수행할 때의 challenge와 방법론에 대해 소개합니다. Challenges QA task란, 질문과 정답 선택지들(QA context)가 주어졌을 때, 정답을 고르는 task입니다. LM과 KG를 결합한 QA reasoning을 수행하기 위해 필요한 스텝은 크게 두 가지가 있습니다. QA context가 주어졌을 때, **추론에 필요한 entity들을

2022년 9월 23일
·
1개의 댓글
·
post-thumbnail

Cluster-Former: Clustering-based Sparse Transformer for Question Answering Review

Paper Link https://arxiv.org/pdf/2009.06097.pdf Background The background of this paper Transformer stands out on Natural Language Processing and Deep Learning. It has Self-Attention mechanism, which allows fully-connected contextual encoding over all input tokens. But basic Transformer that is fully-connected, so needs too much computing powers has weakness. So It only takes fixed-length input which is relatively short. Background mo

2022년 9월 6일
·
0개의 댓글
·
post-thumbnail

GNN is a Counter?: Revisiting GNN for Questions Answering 논문리뷰 (paper review)

%E1%84%91%E1%85%A6%E1%84%8B%E1%85%B5%E1%84%8C%E1%85%B501.jpg)![](https://images.velog.io/images/clueless_coder/post/2364260c-0b37-4bc9-baf0-97a07d3bdb77/%5BLearnData%20Lab%5D%E1%84%80%E1%85%A1%E1%86%BC%E1%84%

2022년 3월 5일
·
0개의 댓글
·