자연어처리 공부

자연어처리 관련 모델링을 많이 했었지만 전반적으로 정리하기 위해 몇 가지 도서를 선정해 보았다.저자 : Bird, Steven/ Klein, Ewan/ Loper, Edward출판사 : O'Reilly Media발행일 : 2009.06.30주요내용: 문법기반의 nlp

트랜드포머 아키텍처가 만들어진 모델 개발 흐름과 모델 설명, 그리고 직접 사용할 수 있는 허깅페이스 소개

트랜스포머의 구조와 종류를 살펴본다

언어 모델은 사전 훈련을 하는 동안에 작업 시퀀스에 노출되고 이를 바탕으로 추론에 적용할 수 있음시퀀스1 : 덧셈시퀀스2 : 단어 철자 배열시퀀스3 : 번역시퀀스나 토큰 분류 같은 작업에 특화된 헤드에서 예측 생성은 매우 간단함case1 모델이 일련의 로짓을 출력하고

텍스트에서 사람, 조직, 위치 같은 개체명을 식별하는 nlp taskpan-x : 교차 언어 전이 평가 벤치마크 데이터독일어(63%) , 프랑스어(23%), 이탈리아어(8%), 영어(6%)로 구성IOB2 포맷(책의 내용에 맞춤, BIO라고도 씀) : LOC(위치) &