# NER
Named Entity Recognition with spaCy(spacy로 커스텀 개체명 인식기 만들기)
SpaCy는 python과 cython으로 작성된 자연어 처리(NLP) 오픈 소스 라이브러리로, 자연어 처리 작업을 위한 다양한 도구 및 모델을 제공한다. Spacy는 다국어 지원이 가능하며, 품사 태깅/구문 분석/개체명 인식/워드 임베딩 등을 수행할 수 있다. Build Custom dataset with SpaCy NER Annotation Tool 사실 당장 개체명 인식 커스텀 데이터셋을 만들어보라고 하면 좀 막막할 거 같은데.. (내가 그래서) spaCy에서 커스텀 데이터셋 어노테이션 툴을 지원하고 있다. 어노테이션 툴 링크 
EMR 데이터를 활용한 NER
MIMIC DATA MIMIC3 DATASET MIMIC3 데이터는 EMR(Electric Medical Record)로 2001년과 2012년 사이에 Beth Isreal Deaconess Medical Center 중환자실에 입원한 4만 명 이상의 환자와 관련된 비식별화된 건강 관련 데이터이다. MIMIC3 는 다음과 같은 정보를 제공하고, 중환자 정보 시스템 병원 전자 건강 기록 데이터베이스 병원 밖 사망에 대한 기록 데이터 사용 규약에 대한 교육을 듣고 시험을 통과하면 데이터에 접근이 가능하다. 데이터에 대한 통계를 시각화하여 데이터를 살펴보면 다음과 같다. 
[도서 스터디] 트랜스포머를 활용한 자연어 처리_chapter4 : 다중 언어 개체명 인식
개체명인식(NER) 텍스트에서 사람, 조직, 위치 같은 개체명을 식별하는 nlp task (예제) 데이터셋 * PAN-X & BIO표기 pan-x : 교차 언어 전이 평가 벤치마크 데이터 독일어(63%) , 프랑스어(23%), 이탈리아어(8%), 영어(6%)로 구성 IOB2 포맷(책의 내용에 맞춤, BIO라고도 씀) : LOC(위치) & PER(사람) & ORG(조직)와 B-개체명 토큰 시작, I-개체명 토큰(시작제외) O 개체명에 속하지 않음, 1) 데이터확인하기 [참고] "udpos.Korean"도 있음. 2) 데이터 로드 3) 데이터 샘플 확인 
Paper Review #6 - DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population
Zhang, Ningyu, et al., "DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population", arXiv preprint arXiv:2201.03335, 2022 수 많은 데이터 속에서 필요한 정보만을 추출하는 IE(Information Extraction) 기술이 발전을 거듭하고 있다. IE 기술의 발전에 따라 대규모의 Knowledge Base 역시 구축 되고 있는데, 지식 베이스는 현실 세게에서 지식 집약적인 업무에 많은 도움을 준다. 따라서 KBP(Knowledge Base Population) 또한 각광을 받고 있는 분야 중 하나인데, KBP라 함은 텍스트로부터 지식을 추출해 KB의 손실된 부분을 완성하는 작업이다. 원문에서 entity와 관계를 추출하고, 이것들을 KB에 연결시켜주는 IE 작업은 여기서도 용이하게 쓰이고 있다. Named Entity Rec
Paper Review #5 - MERIOT RESERVE: Neural Script Knowledge through Vision and Language and Sound
Zellers, Rowan, et al. "Merlot reserve: Neural script knowledge through vision and language and sound." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. MERLOT RESERVE : 멀티모달 환경으로부터의 새로운 학습 목표를 통해 비디오를 표현하는 모델(Multimodal Event Representation Learning Over Time, with RE-entrant SupERVision of Events) Overview 비디오가 주어지면 텍스트 조각과 음성을 Mask token으로 재배치하고, 모델은 정확한 Masked out snippet을 고름으로써 학습 각 modality가 서로를 교육하는 joint representation 학습 modali
개체명 인식 논문 리뷰
Neural Architectures for Named Entity Recognition(2016) 논문을 읽고 내용 요약 및 정리한 내용이다. 본 논문에서는 LSTM-CRF과 Stack-LSTM 2가지 NER 모델을 제안한다! 본 논문은 LSTM-CRF 기법 때문에 찾아 보게 된 건데, CRF 알고리즘에 대한 설명은 자세히 나오지 않아서 따로 공부해야 할 것 같다. 1. Introduction 개체명 인식(Named Entity Recognition)은 어려운 학습 문제이다. 대부분의 언어나 영역에서, 이용가능한 지도 학습 데이터는 매우 적다. 또 네이밍 될 수 있는 단어의 종류에는 제한이 적기 때문에, 적은 양의 샘플 데이터에서 일반화하기가 어렵다. 결과적으로, gazetteers와 같이 세심하게 구성된 정자의(orthographic) 특성들과 언어 특화 지식 원천들이 개체명 인식 태스크를 해결하는 데 널리 사용된다. 불
NER(Named Entity Recognition) on Ontonotes v5
NE NE(Named Entity)는 개체명를 의미합니다. 이는 인물, 지명, 기관명과 같은 고유명사뿐 아니라 시간, 화폐 단위와 같은 특정한 이름을 가진 개체를 포함하는 광의적인 개념입니다. NE의 구분 NE는 크게 두 가지 유형으로 분류되며, 이에 따른 학습 전략이 선택됩니다. 일반적인 개체명(generic NEs)으로 인물이나 장소 등의 명칭이 이에 해당합니다. 예시: 장그래 - 인명, 수요일 - 시간 특정 분야 개체명(domain-specific NEs)으로 전문 분야의 용어가 이에 해당합니다. 예시: Perl - 언어 NER NER(Named Entity Recognition)은 NE(개체명)을 Recognition(인식)하는 분류 작업으로, 개체명 인식이라고도 불립니다. 미리 정의된 멀티 클래스 태그를 토큰에 할당하는 작업으로 이해할 수 있습니다. 예시: NER이 해결하고자 하는 문제는 무
Named Entity Recognition with BiLSTM + CNN
이번 글에서는 여기서 사용한 데이터셋과 전처리를 이용하여 다른 모델을 만들어 볼 것이다. 이전에서는 BiLSTM을 이용했지만 이번에는 BiLSTM과 CNN을 동시에 이용하여 만들어보자. 이번 내용에서는 단어(Word)와 글자(Character)의 차이를 헷갈리지 않도록 조심하자. 여기서이미 1D CNN을 이용한 텍스트 분류를 진행했던 적이 있다. 이 내용을 잠시 가져와보면 이런 느낌이었다. 이번에는 단어 대신에
Named Entity Recognition with BiLSTM
이번에는 이전글의 두번째 버전으로 새로운 파일로 실습해보자. 이번글에서 실습으로 사용된 .csv 파일은 여기서 다운받을 수 있다. 코랩이나 주피터에서 사용할 경우 그 파일과 같은 디렉토리에 .csv파일이 위치할 수 있게 하자. 코랩이라면 이 파일을 업로드하면 된다. Packages 필요한 패키지들을 다운받아준 후, 방금 올린 .csv파일을 unzip해주자. Import Data 파일을 불러와 data안에 저장한다. Data Preprocessing 어떻게 생겼는지 확인해보자. 
Named Entity Recognition 개체명 인식
이번 글에서는 개체명 인식을 소개한다. 개체명 인식은 대표적인 시퀀스 레이블링 태스크에 속하는데, 시퀀스 레이블링이란 [x1, x2, x3, ... ,xn]에 대해서 [y1, y2, y3, ... ,yn]을 각각 부여하는 작업을 말한다. 아래 예제 파일을 미리 가져와보겠다. 각 단어에 대해 출력값이 있기 때문에 return_sequences = True를 꼭 설정해 주어야 한다. 
BERT를 이용한 음절단위 개체명 인식
BERTDISNER BERT + CRF를 이용한 개체명 인식 모델. BERT와 CRF를 이용해서 음절단위로 학습시켰으며 질병 명을 인식하는 것을 목표로 만듬. BERT 토크나이저의 경우 KoCharELECTRA의 음절 VOCAB을 이용하여 만듬. 시스템 개요 먼저, 질병명 인식 모델을 만들게 된 이유는 반려동물 예진 시스템을 만들기 위해서 만들어짐. 사용자가 반려동물의 이상 행동에 대한 상태(문장)를 입력하면 입력받은 상태와 유사한 사례의 답변을 통해 반려동물의 상태를 간단하게 예진 가능하게 하는 것을 목표로 하는 시스템. BERTDISNER은 사용자가 입력한 문장과 유사한 사례 중 질병이 포함된 문장을 찾아서 인터페이스에 띄우는 것이 목표. 데이터 수집 데이터 출처: 네이버 지식 iN 전문의 답변 Q&A | | 사람
Named Entity Recognition
Named Entity Recognition? Named Entity Recognition(NER)은 번역하면 개체명 인식으로 불린다. 그렇다면 개체명 인식은 무엇을 하는 task인 것일까? 말 그대로 이름을 가진 객체를 인식하겠다는 것이다. 예시를 보여주세요! > jminj는 오늘 회사일을 집에서 수행했다. 위와 같은 문장이 우리에게 주어졌다고 했을 때, 사람, 위치, 시간에 대해 개체명을 인식하는 모델이 있다고 했을 때 아래의 결과를 보여줄 것이다. 사람 - jminj 위치 - 집 시간 - 오늘 출처 https://wikidocs.net/30682
NER with BERT(code)
https://medium.com/@yingbiao/ner-with-bert-in-action-936ff275bc73 이전의 sentiment analysis with huggingface BERT의 글과 큰 차이는 없지만, 단계별 action구분이 잘 되어 있어 후에 참고용으로 기록해두려고 한다. 전체코드는 여기에서 확인가능. NER Named Entity Recongnition 일반적인 NLP작업 문장의 중요한 정보를 추출하기 위해 미리 정의 된 일부 태그를 기반으로 문장의 단어에 태그를 지정하는 것 multi-classifi
KOBERT-NER 모델을 통한 농협 특산품 브랜딩
INTRO 회사에서 농협 식품 사업 전략 컨설팅을 하고 있다. 기존에 농업 비즈니스 모델을 개선하기 위해서 해결해야 할 문제는 다음과 같다. >농협 은 경제지주로 이루어져 있어 실적별로 비례해서 가져가기 보다는 서로 균등하게 분배한다. >이 특성으로 인해 지역별 제품의 질 차이가 크고 소비자 선호도의 차이가 뚜렷한 제품임에도 불구하고 그만큼의 부가가치를 생산해내지 못한다. >이걸 해결하기 위해 로컬 브랜딩 을 할 필요성이 제기됐다. 지역별로 소비자가 느끼는 가치를 등급화해서 선별적으로 리소스를 투여하자는 것이다. 예) 청송사과 > 밀양사과 면 청송사과 를 더 비싸게 쳐주고 확실하게 마케팅을 해주자 내가 해야하는 것 어느 지역이 더 브랜드 가치가 있는 지 정의하고 알아보기 필요한 데이터 정의 등급을 나누는 여러가지 방법이 있겠지만 우선 가장 간단한 방법으로 브랜드 인지도를 기준으로 삼았다. 간단하게 사람들 입에서 더 자주 오르내리는 브