# beam search
Beam Search
Natural Language Generation은 단어들의 sequence 를 아웃풋으로 예측하는 task 이다. 일반적으로 generation model은 각각의 decoding time step 에서 전체 단어 사전에 대한 확률 분포를 예측한다. 따라서 실제로 단
Beam search & evaluation metric
boost course의 자연어 처리의 모든 것을 보고 강의 복습차원에서 작성하였습니다. 앞선 chapter에서는 seq2seq 모델에 대해서 설명을 하였습니다. seq2seq model의 decoder는 encoder에서 나온 output과 decoder의 input
[인공지능] 경험적 탐색(Informed search)기법 비교
경험적 탐색 기법은 상태 공간에 대한 정보를 이용함으로써 탐색 효율을 높일 수 있다.h(n)이라는 휴리스틱 함수를 사용하는데,h(n)은 특정 상태로부터 목표 상태까지의 비용이고 실제로는 추정치를 사용한다따라서 최적해를 보장하지는 않는다\- h(n)을 평가함수로 사용\-
GPT-2 문장 생성 시, 왜 중복이 발생할까
NLP 논문 리뷰 - The Curious case of Neural Text Degeneration을 정리하며 작성.koGPT-2로 학습 시킨 후 문장을 생성할 때, gready search를 통해서 문장을 생성했는데, 문장 생성이 조금 지나면 중복된 문장이 생성이
Beam Search in NLP
텍스트 생성 문제에 대해서 Greedy Search와 Beam Search을 어떻게 사용하는지 How to Implement a Beam Search Decoder for Natural Language Processing블로그를 보고 정리캡션 생성, 요약, 기계 번역은