# knowledge base

Paper Review #6 - DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population
Zhang, Ningyu, et al., "DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population", arXiv preprint arXiv:2201.03335, 2022 수 많은 데이터 속에서 필요한 정보만을 추출하는 IE(Information Extraction) 기술이 발전을 거듭하고 있다. IE 기술의 발전에 따라 대규모의 Knowledge Base 역시 구축 되고 있는데, 지식 베이스는 현실 세게에서 지식 집약적인 업무에 많은 도움을 준다. 따라서 KBP(Knowledge Base Population) 또한 각광을 받고 있는 분야 중 하나인데, KBP라 함은 텍스트로부터 지식을 추출해 KB의 손실된 부분을 완성하는 작업이다. 원문에서 entity와 관계를 추출하고, 이것들을 KB에 연결시켜주는 IE 작업은 여기서도 용이하게 쓰이고 있다. Named Entity Rec
[CS224 #6] ERNIE: Enhanced Language Representation with Informative Entities (ACL, 2019)
Summary Background : BERT 같은 대규모 Language model (LM)이 NLP task에 좋은 성능을 보이고 있다. 하지만 knowledge graph (KG)를 통합하려는 시도는 잘 없었다. KG는 풍부한 structured knwledge를 제공해 language understanding에 도움이 된다. Challenge (KG를 잘 incorporating하기 위한): (1) Structured Knowledge Encoding: text에서 유용한 정보를 extract하고 encoding (2) Heterogeneous Information Fusion: language representation과 KG representaion 통합 Approach: KG 내의 informative entities들을 이용하면 더 좋은 language representation을 뽑을 수 있을 것이다.