profile
Trendy AI Developer

BRIO 모델

**paper with code에서 Abstractive Text Summarization on CNN / Daily Mail Benchmark중 23년 3월 현재 3번째로 랭크되있는 모델 페가수스모델에 기반을 하고 있음 ** 모델 사용 방법 1. git clone : https://github.com/yixinl7/brio#use-brio-with-huggingface 2. Huggingface : 모델의 VRAM 확인하기 2129MB => 2.23GB 생각보다 낮은 VRAM USE 당연히 한글 지원은 안됨 >원문 1 "Manchester United superstar Cristiano Ronaldo scored his 806th career

2023년 3월 3일
·
0개의 댓글
·

텍스트 요약(Text Summarization) 개념(수정중)

개념 : 추상적 vs 추출적 1. 추출적 요약 (Extractive) 원문에서 중요한 핵심 문장 또는 단어를 몇 개 뽑아서 이들로 구성된 요약문 생성 방법 : TextRank(텍스트 랭크)알고리즘 [문장 임베딩 기반 텍스트 랭크(딥러닝을 이용한 자연어 처리 입문) ](https://wikidocs.net/91051) >### TextRank목표 : 본문에서 중요한 문장 추출하기 > 불용어 제거 후 문장단위로 토큰화 토큰 벡터를 평균내서 문장 벡터를 얻음(영벡터가 생길 수 있음) 문장 벡터들 사이의 코사인 유사도 행렬 만들기(문장개수 x 문장개수) 페이지랭크 알고리즘으로 유사도 행렬로 각 문장의 Score를 구할 수 있음 Score를 기준으로 상위 n개로 문서의 요악문 생성 > 참고 : 페이지랭크는 구글의 검색 알고리즘 , 해당 페이지가 얼마나 중요한지 나타냄 **단점 : 원문에 존재하는 문장(단어)으로 구성되므로 표현력이 떨어

2023년 3월 2일
·
0개의 댓글
·