# beam search

7개의 포스트

Beam Search

Natural Language Generation은 단어들의 sequence 를 아웃풋으로 예측하는 task 이다. 일반적으로 generation model은 각각의 decoding time step 에서 전체 단어 사전에 대한 확률 분포를 예측한다. 따라서 실제로 단

2023년 3월 31일
·
0개의 댓글
·
post-thumbnail

Beam search & evaluation metric

boost course의 자연어 처리의 모든 것을 보고 강의 복습차원에서 작성하였습니다. 앞선 chapter에서는 seq2seq 모델에 대해서 설명을 하였습니다. seq2seq model의 decoder는 encoder에서 나온 output과 decoder의 input

2023년 2월 7일
·
0개의 댓글
·
post-thumbnail

beam search구현

beam search를 parellel하게 구현해보자

2022년 4월 29일
·
0개의 댓글
·
post-thumbnail

[인공지능] 경험적 탐색(Informed search)기법 비교

경험적 탐색 기법은 상태 공간에 대한 정보를 이용함으로써 탐색 효율을 높일 수 있다.h(n)이라는 휴리스틱 함수를 사용하는데,h(n)은 특정 상태로부터 목표 상태까지의 비용이고 실제로는 추정치를 사용한다따라서 최적해를 보장하지는 않는다\- h(n)을 평가함수로 사용\-

2021년 10월 27일
·
4개의 댓글
·
post-thumbnail

GPT-2 문장 생성 시, 왜 중복이 발생할까

NLP 논문 리뷰 - The Curious case of Neural Text Degeneration을 정리하며 작성.koGPT-2로 학습 시킨 후 문장을 생성할 때, gready search를 통해서 문장을 생성했는데, 문장 생성이 조금 지나면 중복된 문장이 생성이

2020년 4월 9일
·
0개의 댓글
·
post-thumbnail

Beam Search in NLP

텍스트 생성 문제에 대해서 Greedy Search와 Beam Search을 어떻게 사용하는지 How to Implement a Beam Search Decoder for Natural Language Processing블로그를 보고 정리캡션 생성, 요약, 기계 번역은

2020년 3월 27일
·
0개의 댓글
·