📍 자연어 이해와 자연어 생성
NLP에는 2개의 주요 컴포넌트가 있는데 자연어 이해(NLP)와 자연어 생성(NLG)이다.
✅ 자연어 이해(NLU)
- 자연어이해는 NLP의 첫 컴포넌트로 간주
- NLU는 인공지능 하드 문제, 또는 인공지능 완료 문제로 간주됨
- NLU는 NL 입력을 유용한 표현으로 변환하는 프로세스로 정의됨
✅ 자연어 생성(NLG)
- NLG는 NLP의 두 번쨰 컴포넌트로 간주
- NLG는 머신이 NL을 출력으로 생성하는 프로세스로 정의
- 머신의 출력은 논리적인 방식이어야 하는데, 머신에서 생성되는 어떠한 NL이라도 논리적이어야 한다는 뜻
📍 NLP의 분야
✅ 도구 리스트
- POS 태깅의 경우, POS 태거가 사용된다. 유명한 라이브러리는 nltk와 pycorenlp이다.
- 모프 분석기는 단어 수준 형태학적 분석을 생성하는 데 사용된다.
이를 위해 nltk와 polyglot 라이브러리가 사용된다.
- 파서는 문장의 구조를 식별하는 데 사용된다.
📍 형태소 분류
✅ 자유 형태소
- 단독으로 있으며 단어로 동작할 수 있다. 이들을 무경계 형태소 또는 단독형 형태소라고 부른다.
✅ 경계 형태소
- 경계 형태소는 보통 접사를 사용하며 2개의 클래스로 나눈다.
✅ 파생 형태소
- 파생 형태소는 접사가 어근과 결합해서 의미론적 의미를 변경시킬 때 확인된다.
✅ 굴절 형태소
- 접미사로서 단어에 추가돼 해당 단어에 특정 문법적 속성을 지정한다. 굴절 형태소는 시제, 숫자, POS 등을 나타내는 문법적 표식으로 간주됨.