생성형 AI에 대해서 알아 본 것을 정리 해보려 합니다.
생성형 AI를 한번에 이해시킬 수 있는 단어는 최근 세계적인 관심도가 높은 'Chat GPT'라고 할 수 있습니다.
생성형(Generative) AI란?
사람이 AI에게 입력값을 요구하면 그 요구에 맞춰 결과를 만들어주는 인공지능을 말합니다.
하지만 AI로부터 정확한 답변을 얻기 위해서는 AI가 알아 듣기 쉽게 질문을 하는 것이 중요합니다.
대표적인 생성형 AI로는 Chat GPT, Bard, DALL-E, Stable Diffusion, Midjourney등이 있습니다.
- ChatCPT : OpenAI에서 개발한 대화형 인공지능 모델로 사용자와 대화를 이어가며 자연스러운 문장을 스스로 생성하여 답변
- Bard : 구글에서 개발한 대화형 인공지능으로 텍스트를 생성하는 AI
- Dall-E 2, Midjourney, Stable Diffusion : 텍스트를 입력 받아 이미지를 생성하는 AI
이외에도 음성합성등 다양한 분야의 생성형 AI가 존재합니다.
<거대 언어 모델(LLM),Large Language Model>
딥러닝 알고리즘과 통계 모델링을 통해 자연어 처리 작업을 수행하는 데 사용합니다. LLM은 문장 내의 단어들 사이의 유사성과 문맥을 파악하여 다음 단어를 생성할 수 있다.
나는 LLM개념을 처음 들었을 때, 그럼 NLP와 다른게 뭐지?라는 생각에 두개의 차이점이 궁금해서 찾아보았다.
NLP vs LLM
NLP는 인간의 언어를 이해하고 처리하는 데 초점을 맞춘 인공지능 분야입니다. NLP는 컴퓨터가 자연어 텍스트를 이해하고 분석하는 기술을 개발하는 것을 목표로 합니다. NLP는 문장 구문 분석, 텍스트 분류, 기계 번역, 질의응답 시스템,감정 분석 등과 같은 다양한 작업에 활용됩니다.
LLM은 NLP의 한 부분으로 특정 NLP작업을 수행하는데 초점을 둡니다.NLP는 더 넓은 의미의 개념이며, LLM은 그 안에서 특정한 접근 방식과 모델을 가리키는 한 가지 형태입니다.
<메타의 인공지능 라마(LLaMA)>
LLaMA는 ChatGPT와 같은 종류의 인공지능입니다.
LLaMA의 특징은 공개된 데이터셋만을 이용해서 학습 시켰고, 메타 자체에서 구축한 데이터는 없다는 점입니다.
현재 LLaMA2는 오픈 소스로 공개하여, 다른 모델과 차별적인 강점으로 꼽을 수 있습니다.
<Stanford에서 LLaMA를 파인튜닝한 알파카(Alpaca)>
Alpaca는 Instruction-following 데이터로 파인튜닝을 하였습니다.
이후 후속 모델로 8-bit 양자화와 LoRA(Low-Rank Adaption)등을 통해서 대형언어모델을 개인 pc에서도 쉽게 사용할 수 있는 프로젝트들이 개발되고 있고 한국어로 튜닝된 KoAlpaca모델도 등장하였습니다.
KoAlpaca는 한국어를 이해하고 생성하는 데 필요한 능력을 갖춘 모델이고 파인튜닝을 통해 다양한 자연어처리 자겁에 사용할 수 있다. KoAlpaca는 Standard Alpaca 모델을 학습한 방식과 동일한 방식으로 학습을 진행하였습니다.
