OpenAI’s GPT3

💡 gpt2에서 모델의 크기, 데이터셋의 크기, 다양성, 학습 횟수를 전반적으로 늘린 모델

다양한 파라미터 개수로 테스트를 진행한 후, 1750억개의 파라미터를 가진 모델이 GPT3.

모델 학습에 약 570GB(570억개)(3T → 3000억개)의 데이터를 사용함.

이 데이터는 약 8년동안 웹크롤링을 통해 모은데이터, 책, wikipedia등을 통해 수집함.

gpt2와 같은 구조인데, 문장을 입력시 encoder를 통해 임베딩을 하고 그 값을 decoder가 해독하는 방식이다.

초거대 AI의 등장으로 일반 성능의 GPU 서버로는 문제 해결이 거의 불가능해졌습니다. 대규모 AI 모델을 단일 GPU 서버로 학습을 시킨다면 수십에서 수백 년이 걸릴 수도 있지만 수백 수 천 개의 GPU를 병렬로 학습할 경우 시간을 현실적으로 크게 단축할 수 있기 때문에 슈퍼컴퓨팅 인프라 환경 구축은 필수적입니다. 네이버의 경우 하이퍼클로버를 위해 140개의 컴퓨팅 노드에 1,120개의 GPU를 장착한 슈퍼컴퓨팅 인프라를 구축했고 SKT 역시 2021년부터 구축해 운영 중인 슈퍼컴퓨터를 최근 에이닷 서비스를 위해 NVIDIA A100 GPU를 기존 대비 2배인 1,040개로 증설했습니다.

그리고 정확하게 추산할 수는 없지만 부가적인 비용을 제외하고 GPT-3을 학습시키는 데만 대략 150억~340억 원 정도가 소요된 것으로 추정합

Kakao’s KoGPT

파라미터 개수는 6,166,502,400(약 61억개)로 훨씬 적은 파라미터 수이다.

데이터 개수 또한 3000만개로 훨씬 적은 개수이다.

fine-tuning

• 최소 3000억개의 데이터가 필요하다라고 하면 데이터를 담은 파일의 크기는 대략 30TB.(싱글턴 기준)

  • classification 데이터의 경우 3000GB.
  • 현재 사용 가능한 싱글턴 데이터 : 약 500MB

• 모델을 학습하기 위해서 네이버의 경우 클로버를 학습히가 위해 1120개의 GPU를 사용. SKT는 에이닷을 학습하기 위해 A100 GPU 1040개를 사용했다.

• 이러한 자료를 바탕으로 GPT3를 학습하는데만 대략 150억~340억원정도를 사용했다고 추정된다.

P-tuning

대부분의 모델들은 fine-tuning을 하면 더 성능이 높아진다.

요즘의 사전 학습 모델은 워낙 파라미터 사이즈가 크기 때문에 재학습을 하는데 시간과 자원이 너무 많이 소요되어 fine-tuning을 하는 것이 어렵다.

이런 fine-tuning을 효율적으로 하기 위해 p-tuning, LoRA와 같은 방법들이 소개가 되었다.

둘 다 기본 원리는 비슷하다. 사전훈련된 가중치는 그대로 두고, 거기에 별도로 추가된 레이어만 새로운 데이터로 학습을 합니다.

P-tuning은 임베딩 레이어에 BiLSTM과 MLP 레이어를 붙여서 프롬프트이 임베딩이 학습 데이터에 딱 맞게 나오도록 tuning하는 것이다.

LoRA는 사전훈련 모델의 중간중간에 adapter 레이어를 넣고 사전훈련 레이어와 adapter 레이어의 결과를 합쳐서 출력값을 생성한다.

ChatGPT

💡 GPT3.5모델을 LLM과 RLHF로 튜닝한 대화형 인공지능 챗봇이다.

대형언어모델(Large Language Model, LLM)은 문장에서 다음 단어를 예측하도록 학습한다. 문장은 단어들의 합이니, 다음 단어를 예측하고 이는 다음 문장을 예측하게 된다. 즉, 자동 완성과 유사하다.

하지만 LLM은 사람의 언어를 이해해서 원하는 것을 알아내는데에는 한계가 있다. 그래서 다양한 답변을 모델을 통해 만들어낸다.

이 한계점을 돌파하기 위해 인간 피드백형 강화학습(Reinforcement Learning w/Human Feedback, RLHF)을 사용했다. 이 모델을 통해 사용자의 지시를 따르고 만족스러운 반응을 만들어 내도록 했다. 위에서 만들어낸 다양한 답변을 사람이 가장 좋은 답변부터 가장 나쁜 답변까지 라벨링을 하여 학습데이터로 사용한다.

그 후, PPO(Proximal Policy Optimization)알고리즘을 이용하여 모델을 fine-tuning한다.

ChatGPT의 한계

• 유해한 반응에 대한 한계 : 유해한 문장에 대해 반응하지 않도록 되어 있기 때문에 그러한 문장이 입력되면 답변을 하지 않는다.
• 입력에 따른 품질의 변화 : 입력한 문장이 완벽한 문장이어야만 완벽한 답변이 나오게 된다.
• 답변의 정확성이 떨어짐 : 사용자가 옳다고 생각하는 방향으로 학습되어 있고, 판단하에 정확한 정보만 가지고 학습한게 아니기 때문에 답변이 부정확할 수 있다.

새로운 기능에 대한 우선 엑세스, 더 빠른 응답, 피크 시간대에도 일반 엑세스가 가능

사용 예시(기업)

• ms bing - 검색엔진으로 사용. (close beta서비스중) chatgpt보다 더 성능이 좋고 빠르다고 함.
• koko 심리상담 서비스 - 익명으로 상담내용을 올리면 GPT-3가 대답을 추천하고 참고하여 익명으로 답변을 달아줌.(이로 인해 만족도도 높아지고 대답까지 걸리는 시간도 단축)

기타

• Anthropic에서 만든 Claude - 한국어로 따지면 chatgpt보다 더 성능이 좋다고 함. !http://aidev.co.kr/files/attach/images/2997/111/012/ad74de38a51eef406846f7f43a049962.jpg !http://aidev.co.kr/files/attach/images/2997/111/012/6be48e18910aa46563375bad02dd65ee.jpg !http://aidev.co.kr/files/attach/images/2997/111/012/404da9e1dedc4c988f86622252a7d40d.jpg !http://aidev.co.kr/files/attach/images/2997/111/012/8c2033a471b9951a3cb1cb34438a0389.jpg
  
• Chatsonic - GPT3기반의 모델 chatgpt보다 최신 정보를 알려줄수 있음. 구글로 검색을 하고 그 결과를 참조해서 답변을 생성. stable diffusion처럼 사진 생성도 가능.
  
• Keys - AI 데이팅 코치(GPT3) 대화 내용을 스크린샷을 찍으면 내부 저장소의 이미지를 인식해 무슨 말을 하고 있는지 탐지. 탐지한 내용을 바탕으로 다음 대답으로 가장 적절한 문장을 몇가지 추천. DallE와 연동하여 이모티콘 대신 생성한 그림을 보낼수도 있음. https://apps.apple.com/app/id1510154956
  
• smartynames - 사이트 도메인 이름 결정(GPT3기반) 설명을 적으면 현재 등록 가능한 도메인 목록을 생성해서 보여줌. 이름을 생성하는건 무료, 도메인 등록으로 수익을 버는 방식. (아직 국내는 도입 전) http://smartynames.com/
  
• 그림일기 (GPT3, stable diffusion) 일기를 쓰면 그림을 자동으로 그려줌. GPT3로 글을 요약하고, 요약된 글을 stable diffusion으로 그림을 생성. https://speakerdeck.com/codertimo/haru-diary-app-with-stable-diffusion-junction-2022
  
• 가상 와이프 (chatGPT, stable diffusion) 페르소나로 애니메 캐릭터로 롤플레잉을 진행하여 자신과 로맨틱한 관계에 있다는 사실을 알림. 한말을 STT로 텍스트로 변경 후, ChatGPT에 입력. 대답을 TTS하여 음성으로 들려줌. chatGPT로 대답에서 핵심 키워드를 추출. 나온 키워드들을 stable diffusion에 넣어 그림 생성. http://aidev.co.kr/chatbots/12118
  
• 콜센터(chatGPT) FAQ챗봇을 fine-tuning하여 사용. api호출 코드가 포함된 문장으로 답변하도록 학습하여 사용.

  A : 내 핸드폰 요금제를 바꾸고 싶어요.
  
  B : [GetUserPlan] (DB 호출요청)
  
      [UserPlan:무한요금제] (DB 호출결과)
  
      고객님의 현재 요금제는 무한요금제이군요. 어떤 요금제로 바꾸고 싶나요
  
  A : 좀 더 싼 요금제가 없나요?
  
  B : [GetLowPricePlanThan:무한요금제] (DB 호출요청)
  
      [LowPricePlanThan:무한요금제->알뜰요금제, 반값요금제, ...] (DB 호출결과)
  
      고객님의 현재 상황에서는 알뜰요금제가 어떠실까요. 알뜰요금제는 이런 서비스를 포함하고 있습니다....

• 스타트업의 적용 사례(GPT-3) https://platum.kr/archives/202788
  

출처

• https://seo.tbwakorea.com/blog/what-is-chatgpt/
• https://yunwoong.tistory.com/m/211
• http://aidev.co.kr/