개체명 인식 : Named Entity Recognition
NER : Named Entity Recognition
문장 내에 포함된 어떤 단어가 인물, 장소, 날짜 등을 의미하는 단어인지 인식
개체명 인식기: 모델 등을 이용해 문장에서 개체명을 인식하는 프로그램
중요점
반드시 해야 하는 것은 전처리
BIO 표기법
- B: Beginning: 개체명
- I: Inside: 'B-개체명'과 연결되는 단어일 때 'I-개체명'
- O: Outside: 개체명 이외의 모든 토큰에 태그
두 개 이상의 토큰이 하나의 개체를 구성하기에 BIO 표기법 사용
개체명 인식 모델을 학습하기 위해 토큰별로 BIO 태그가 달린 데이터셋이 필요하다.
구현한 개체명 인식기 원리
해당 모델은 단어 토큰을 입력했을 때 출력되는 NER 태그값을 예측한다.
정밀도와 재현률
조화 평균
당신의 시간이 헛되지 않는 글이 되겠습니다.
I'll write something that won't waste your time.
원하는 것을 창조하고 창조한 것을 의미있게 사용하자