개요 💻
새싹톤에 참여하여 팀원들과 아이디어를 구상하던 도중 자연어를 처리할 수 있는 AI 챗봇 기능에 대한 상의가 진행되었다.
자연어 처리의 기능을 수행할 기술로는 역시나 ChapGPT가 언급되었다. 그리하여 OpenAI의 API Key를 발급받아 코드를 작성하여 사용하던 도중 일어난 상황이다😭
발생한 이슈 ✅
- ChatGPT OpenAI를 활용하여 자연어를 처리하는 인공지능을 활용하고자함.
⇒ 첨부한 사진과 같이 영어로만 OpenAI를 이용할 수 있음.
왜 영어만 이용할 수 있나? (ChapGPT에게 답변을 받은 내용)
OpenAI에서 무료로 제공되는 한국어 모델은 아직 제공되지 않고 있습니다. 현재 OpenAI의 GPT-3 API는 영어로만 지원되고 있으며, 다른 언어로 지원하려면 해당 언어로 학습된 모델을 사용해야 합니다. 따라서 한국어 모델을 사용하고 싶으시면, 직접 모델을 학습시키거나, 다른 업체에서 제공하는 한국어 모델을 사용하셔야 합니다.
Solution…💡
ChatGPT에게 방법에 대해서 직접 물어봤다.
-
다른 업체에서 제공하는 한국어 모델을 사용하셔야 합니다.Q1. 다른 업체에서 제공하는 무료 한국어 모델이 있을까?
A : 네, 몇몇 업체에서 무료로 사용할 수 있는 한국어 자연어처리 모델을 제공하고 있습니다. 예를 들어, SKT에서는 KoBERT 모델을 무료로 제공하고 있습니다. 그 외에도, KorNLPy, KoNLPy, KcBERT 등의 한국어 자연어처리 라이브러리가 있습니다. 이러한 라이브러리를 사용하여 질문과 응답을 처리할 수도 있습니다.
⇒ 알려준대로 내용들을 리서치 해봤으나 디벨롭할 레퍼런스가 상당히 부족하고, 다른 업체에서 제공하는 API를 받기엔 어려움이 있을거 같다.
KoGPT ? 👋🏻
리서치 도중 KoGPT2라는 모델에 대해서 알게되었다. 해당 모델은 OpenAI에서 제공하는 한국어 모델 이며, 가장 최신 모델은 KoGPT-3 가 있다. 이 모델은 대규모 한국어 데이터를 학습하여 생성된 모델로, 다양한 자연어 처리 태스크에 적용할 수 있다.
그러면 우리가 API를 사용할 수 있을까?💡
사용법은 간단했다.
const completion = await openai.createCompletion({
model: "text-davinci-002",
prompt: prompt,
engine: "text-kogpt-3-001",
});위와 같이 completion 함수의 text-davinci-002(OpenAI) 모델에 engine으로 KoGPT-3를 넣어주면 된다.
하지만 engine을 추가하면 트러블슈팅이 발생하게 된다.
⇒ Couldn't connect to server
Why? 😓
text-kogpt-3-001 엔진은 OpenAI API에 등록되어 있지 않은 엔진이기 때문이다.
그래서 엔진 등록을 위해 방법을 알아봤지만
“단, 이 모델은 비용이 매우 비싸기 때문에, 사용하실 때에는 주의해주시기 바랍니다.”라는 처참한 답변…😢
Solution(2) 💡
적당한 선에서 비용이 부과된다면 유료 모델을 사용해도 괜찮을거 같아 비용에 대해서 조사해봤다.
하지만, OpenAI API의 가격은 모델과 사용량에 따라 달라집니다. 가격 정보는 OpenAI API 공식 웹사이트에서 확인하실 수 있습니다. 단, OpenAI API는 현재 초대 제도로 운영되고 있기 때문에, 초대장을 받지 않은 경우 사용이 불가능할 수 있습니다. 라는 답변을 받았다.
즉, 한국어 학습이 되어있는 OpenAI GPT 모델을 사용하기 위해서는 비용뿐 아니라 현재 초대 제도로 운영되고 있기 때문에, 초대장을 받지 않은 경우 사용이 불가하다.
결론 ✅
- ChatGPT Oepn AI API(한국어 모델)를 활용하는 방안은 초대장을 받기위해 OpenAI의 웹사이트에서 신청을 하거나 초대장을 받은 다른 사용자로부터 초대장을 받아야 한다.
(초대를 받게 되어도 비용적 측면 고려 필요) - 추가적인 리서칭을 통해 최대한 ChatGPT의 한국어 모델에 대해서 알아본다.
- 다른 기업의 OpenAI를 활용한다.
