OPT 오픈소스 공개

OPT 개요

OPT(Open Pre-trained Transformers)

OPT는 Meat AI에서 GPT 등 초대형 언어 모델이 점점 접근이 어려워지고 유료로 전환하는 등의 움직임과 반대로 다양한 크기의 NLP 모델을 오픈소스로 공개한 모델이다.

모델 크기는 Weight Parameter 기준, 125M~175B까지 다양하게 공개되었으며 30B 모델까지는 HuggingFace Transformer에서 Import가 가능하다.

OPT 논문 리뷰

논문 리뷰 내용 추가 예정

• Large Scale 모델과 Zero-, Few-shot learning 의 관계
  zero-shot learning

• OPT-175B의 성능은 GPT-3와 동등한 수준이면서도 탄소배출량을 1/7 수준으로 감소시킬 수 있음

OPT-175B 다운로드 방법

124개 호스트에서 분리하여 학습시켰기 때문에 992개 파일이며 328GB의 저장공간이 필요.
다운로드하려면 이메일로 요청하여 링크를 받고 아래 링크에 있는 페이지의 안내대로 다운로드 진행
다운로드 방법 안내 페이지

다운로드 요청 링크

OPT-175B 라이센스

라이센스 원문 링크

OPT 논문 링크

논문 바로가기

OPT Git-hub 링크

깃허브 바로가기