# OpenAI
OpenAI API 응답 스트리밍 구현
프로젝트에서 OpenAI를 활용해 면접 질문에 대한 답변과 그 답변의 피드백을 제공하는 기능을 구현했다. 그러나 답변의 길이가 매우 길어져 사용자가 완성된 답변을 받기까지의 대기 시간이 길어져서 사용자 경험에 부정적인 영향을 줄 것으로 판단되었다. 이를 해결하기 위해 서버에서 OpenAI와의 통신을 스트림 방식으로 처리하여, 클라이언트에게 답변을 한 글자씩 실시간으로 전송하게끔 최적화하였다. 구현 전 API 요청 OpenAI API 응답 스트리밍 구현 서버 설정 먼저 서버에서 openAi를 호출하여 스트림을 얻고 이 스트림에서 데이터를 한글자씩 읽어서 클라이언트에 전송하도록 하였다. 이때 EventSource(Server-Sent Events)또는 WebSocket을 사용하여 구현할
불법 현수막 탐지 프로젝트(2)
차량 운행 데이터를 통한 불법 현수막 탐지 프로젝트 입니다. 불법 현수막 탐지 프로젝트(1)에 이은 발표 PPT 및 설명입니다. ># 발표 및 PPT 안녕하세요. 불법현수막 탐지 시스템이라는 주제로 프로젝트를 진행한 3조 "현수막치워조"의 발표를 맡게된 나인채입니다. 반갑습니다. 발표 목차입니다. 목차는 보이시는 순서대로 차례대로 진행하겠습니다. 먼
불법 현수막 탐지 프로젝트(1)
차량 운행 데이터를 통한 불법 현수막 탐지 프로젝트 입니다. 메타버스 아카데미 2기 AI반 Object Detection, OCR, chatGPT(Text Classification) 활용 프로젝트입니다! 🐼🐼🐼 ># 프로젝트 소개 차량 주행 이미지 데이터를 통해 거치된 합·불법 현수막 게시 현황을 시각화하여 효율적인 단속 작업을 지원하는 '불법 현수막 탐지 시스템' 프로젝트입니다. ># 프로젝트 내용 Github : https://github.com/min731/METAYoloOCRChatGPTPJT Youtube(시연 영상) : https://www.youtube.com/watch?v=UXZTP0jx1WQ&list=PLml1GH62sPF-tPUg7xatqjC3xG2b
Open AI fine-tune 미세조정
open ai 관련 사용 방법에는 세 가지 정도 방법이 존재한다. fine-tune(미세조정) 임베딩 프롬프트 체인 임베딩 방법은 프롬프트를 벡터로 변환하여 유사도를 비교하여 원하는 답변을 뽑아내는 방식이고, 프롬프트 체인의 경우, 학습보다는 이전 프롬프트 내용을 체인 형식으로 묶어서 대화 내용을 기억시키는 방법이다. 팀 프로젝트에는 미세조정과 프롬프트 체인 방식을 도입했다. 다만 미세조정된 모델의 경우, 토큰 당 비용이 통상적인 모델(3.5 터보, 다빈치 등등)보다 비싸기 때문에, 고객센터 ai와 바텐더 챗봇으로 나누어 구현하였다. 오늘 다룰 내용은 미세조정 방식이다. 사용한 모델은 3.5 터보 모델을 사용하였다. 또한 공식 페이지에 사용된 방법이 파이썬이라 파이썬으로 진행하였다. 상단에 openai를 import해두고 처음 해야할 일은 학습시킬 파일을 업로드하는 과정이 필요하다. 학습시킬 파일 내용 예시는 다음과 같다. 프롬프트에 role을 나누어
ChatGPT vs PaLM2 ( Google Vertex AI ) 가격 비교
현재 공개 되어 있는 LLM들중에서 클라우드 형태로 서비스 하는 곳은 크게 2군데. 하나는 ChatGPT로 알려져 있는 OpenAI ( 혹은 Azure OpenAI ). 또 하나는 Google의 Vertex AI - Palm2. 성능 비교는 이 문서의 목적이 아니고, 단순한 가격 비교. 공식 홈페이지에는 각각 1천토큰 / 1천글자당으로 되어 있으나, 소수점이하로 너무 길어서 둘다 1백만토큰/ 1백만글자로 변환 했음. ChatGPT 가격 ( Azure OpenAI 동일 ) : 1백만 토큰당 | Model | Input | Output | |------------- |------- |-------- | | GPT-3.5 | $1.5 | $2 | | GPT-3.5 16k | $3 | $4 | | GPT-4 | $30 | $60 | | GPT-4 32k | $60 | $120
[포스코x코딩온] KDT-Web-8 10~11주차 팀프로젝트 Do IT 총 회고
서론 8/31 일에 시작한 팀프로젝트가 오늘 9/14에 모든 작업이 끝났다. 다시 처음으로 돌아가서 2주간 진행한 이번 팀프로젝트 (4인)가 어떻게 준비하고 어떤 결과물을 만들었는지 정리해보고자 한다. 첫 회의 처음에 팀원들과 회의시, 가장 먼저 무엇을 해보고 싶은지에 대해 이야기를 해봤다. 먼저 버스 탑승객의 탑승 정류장과 하차 정류장에 대한 정보를 취합하여 어떤 승객이 언제 내릴지 공유하는 플랫폼을 생각해봤다. 이때 서울시에서 버스에 관한 API 를 제공하는 부분도 있었고 재미있는 아이디어라 생각했지만 구조가 단순할 수 있다는 피드백을 받고 다음 아이디어에 대해 논의를 했다. 최근 한달간 리액트에 관한 스터디를 진행했었는데 코딩온에서의 주 2회 블로깅과 더불어 주 2회 리액트 블로깅을 하는 것이 다소 빡빡한 계획이었던 것 같다. 그래서 추가로 북스터디도 하고 싶고 팀플도 해보고 싶은데 더 적극적으로 의견을 내기 어려운 상황에 이번 프로젝트 주제로 스터디 모집 플랫
자동으로 쿼리 작성을 해주는 langchain
데이터베이스와 상호작용할 때 가장 중요한 부분은 쿼리 작성이다. 올바른 쿼리를 작성하는 것은 데이터 검색의 정확성과 효율성에 큰 영향을 미치기때문인데 자동으로 쿼리를 작성하는 도구는 이 과정을 단순화하고, 비개발자에게도 데이터베이스에 쉽게 접근할 수 있는 기능을 제공한다. 자동 쿼리 작성의 핵심은 사용자의 요구를 정확하게 해석하고, 이를 SQL 쿼리로 변환하는 것인데, 이를 위해 자연어 처리(NLP) 알고리즘, 규칙 기반 시스템, 등을 사용해야한다. 1년전만 하더라도 이것을 하려면 엄청난 작업이 들어간다. 그러나 현재는 langchain으로 아주 간단하게 작업이 가능하다. 먼저 SQL DB에 데이터가 있다. 나의 경우 GCP 의 cloud sql을 사용하였다. > Cloud SQL은 Google Cloud Platform에서 제공하는 완전 관리형 관계형 데이터베이스 서비스로 PostgreSQL, MySQL, SQL Server 등 다양한 데이터베이스 엔진을 지원하며, 클라우드
openai api사용
langflow를 활용한 프로젝트를 진행하기 위해서 openai api를 결제했다. chatGPT plus 와는 다르게 사용량마다 비용이 부과되므로 먼저 원하는 만큼 사용량을 충전할수있다. 최소 5 달러부터 45 달러까지 결제할수있기때문에 가장 작은 5달러를 결제했고 vat으로 10%가 부과되어 총 5.5달러가 결제되었다. 나의 경우 free credit이 없어서 결제를 진행했다. 시험삼아서 5달러 정도 결제를 했는데 얼마나 써야될지 차후 업데이트 할예정이다.
딥러닝 - 12
Open AI 다양한 언어 모델과 chatGPT 를 제공하는 회사이다 실습 학습이 끝난 모델로 서비스를 만들어 둔 상태라 설명서 대로 이용하면 된다. 학습에 관련된 텍스트에 관한 설정을 조절할수 있다 (토큰 , 문장길이 등등) 텍스트 생성기 영어 번역 앱 prompt 를 조절하여 다양한 앱을 만들어 줄수 있다. prompt 가 언어 모델을 결과를 다르게 만들수 있을 정도로 잘 작성되어야 한다. chatbot + gradio 피자 주문 챗봇 GPT 다음 단어를 예측하는 함수 다음 토큰 확률 함수 > 오늘부터 내 꿈은 + Next Next : 너야(5%) , 대통령(2%) , 슈퍼맨 (1%) gpt 는 현재 문장을 기준으로 다음 토큰의 확률을 예측하는 확률 함수이다. 토큰과 인베딩 뜻을 지니는 가장 작은 단위와 조각 토큰화 의미를 지니는 가장 최소 단
[nest.js] openAi 연결하기
오늘은 nest.js에서 openAi 사용에 대해서 적어보려고 한다. 우선 구조부터 말하자면 클라이언트에서 메세지 작성 -> 서버에 post요청 -> 메세지 형태 가공 -> openAi로 메세지 전송 -> 반환 받은 값 클라이언트로 전달 이 되겠다. messages.controller.ts body 데이터로 넘어온 값을 messagesService의 createMessage() 메서드로 전달하여 메세지의 형태를 가공한다. 이후 가공된 메세지를 aiService의 chat() 메서드로 보낸 뒤, 반환 값을 클라이언트에 전송한다. messages.service.ts 클라이언트에서 전송받은 메세지의 형태를 가공하는데, 다음과 같이 role과 content로 분리되어져 있다. 이 부분은 openAi 학습과 관련된 내용인데, 다음에 적어보도록 할 예정이다. ai.service.ts OpenAI를 통해서 자신의 openAi 계정과 연결한다. 여기서 키
langchain에서 BGE 모델과 FAISS 연동하기(embedding, 임베딩)
Massive Text Embedding Benchmark (MTEB) langchain을 활용하여 여러 임베딩 vectorDB를 활용한 RAG를 만들던 와중, 실험 목적을 위해 WIKI dump 파일을 통째로 local DB로 만들려고 시도하고 있었다. 하지만 기존 FAISS를 활용할 때 사용한 Embedding model는 text-embedding-ada-002로, OpenAI사의 유료모델이다. 하지만 wikipedia의 장대한 데이터를 전부 임베딩하려면, 비용면에서 큰 이슈가 발생할 것이 뻔하기 때문에, (이정도 가격이면 사실 openAI에서도 막을 것이다.) 적절한 임베딩 모델들을 찾던 와중, 아래의 리더보드를 찾을 수 있었다. https://huggingface.co/spaces/mteb/leaderboard 
chat GPT를 코딩에 사용하는 법 : OpenAI를 코딩에 잘 활용하는 법[1]
실습을 하다보면, 나의 코드 중 어느 부분이 틀렸는지 나의 눈으로는 전혀 보이지 않아서 애를 먹을 때가 있다. 결국 알고 보면 사소하지만 큰 디테일의 차이였다. if문의 ( ) 괄호를 닫지 않았다던가, 함수의 {} 괄호를 닫지 않아서. return 반환값이 문자열(" ")이 아닌 경우에 booleon 데이터 타입의 true/false를 쌍따옴표로 문자열 처리를 했다던가. 함수와 변수의 이름을 동일하게 적었다던가. starter의 입장에서는 일단 코드를 적어보고, 실현해서 작동되는지 확인하고자 하는 급급한 마음에, 잦은 실수를 갖게 된다. 이럴 때마다 멘토님께 나의 코드를 복붙 혹은 스크린샷으로 매번 보여드릴 수 없어서 생각하게 된 방법. openAI에 물어보자!
[Paper Review] Scaling Laws for Neural Language Models
- Our results strongly suggest that larger models will continue to perform better, and will also be much more sample efficient than has been previously appreciated. Big models may be more important than big data. Paper: Scaling Laws for Neural Language Models OpenAI, 2020 본격적인 LLM 시대 돌입에 대한 근거를 제시한 논문 Larger models will continue to perform better 논문의 Summary 부분만 정리함. 각 항목 별 자세한 내용은 논문의 각 Section 참조 1. Introduction `Empirical scaling
아임웹 AI Chatbot 챗봇 만들기 2/2
이 글은 2편으로 나뉘어 게재하며, 1편에서 이어지는 글 입니다. 아임웹 AI 고객센터 2/2 지난 1편에서 우리는 프롬프트의 조합으로 GPT에 문맥을 전달하여, 그 문맥 내에서 답변을 제한 시키는 방법을 배웠습니다. 그와 동시에 프롬프트 길이의 한계점이 있지만 결국 해결방법이 있고, 그 것을 2편에서 소개하기로 했죠. 과연, 두번째 비밀인 그 해결 방법이라는 것이 무엇 일까요? 혹시 1편만 보고 답을 찾으신 분이 계실까요? 이제 그 답을 찾는 여정을 함께 시작해 봅시다. 목표와 요구사항
[SPRING] openAI API : error 401
오랜만에 GPT API 응답 확인하려고 실행하니 오류가 발생했다 이유는 openAI 홈페이지에서 쉽게 찾을 수 있었다. api키 인증 만료로 확인된다,, api키를 재발급 받도록 하자,,! openAI API 키 발급 받아보겠어?????응!!@@ 근데 이상한게 사용하던 계정으로 들어가보니 apikey가 없다는 것이다,, 
[openAI] Whisper 논문 리뷰
1. Introduction Whisper 가 등장하기 이전 가장 대표적인 speech recognition model 은 wav2vec 이었다. 1.1. wav2vec 의 등장과 맹점 wav2vec 은 facebook 에서 발표한 speech recognition model 로, pre train 은 unsupervised learning 으로, 대규모 음성 데이터 (60,000 H)를 기반으로 학습했고 fine tuning 은 적은 수의 labeled 데이터로 supervised learning 으로 진행되었다. * 이런 방식의 학습은 decoder 가 text 와 audio representation 을 매핑할 수 없다. * 따라서 이런 방식으로 pre trained 만 된 모델이 실제로 STT 기능을 하기 위해서는 반드시 fine tuning 을 해야 한다. 이런 구조의 모델은 다음과 같은 단점을 갖는다. fine-tuning 자체가 복잡해짐 f
아임웹 AI Chatbot 챗봇 만들기 1/2
이 글은 2편에 걸쳐 나누어 게재될 예정입니다. 아임웹 AI 고객센터 OpenAI의 ChatGPT가 광풍을 불던 2023년 초, 아임웹도 빠르게 AI를 활용하려고 내부에서 여러가지 실험을 하고 있었습니다. 여러 아이디어 중, 아임웹 가이드를 학습한 AI 챗봇이 채택되어 빠르게 구축을 했었죠. 23년 7월 현재, 수많은 AI앱들이 존재하지만 그때는 막막했었죠. 결과 부터 말씀 드리면, 이거 아주 신박 합니다. 만들자 마자 아임잘알이 되었습니다. 이 챗봇은 아임웹으로 무언가 하고자 할때, 그 방법을 가장 빠르고 정확하게 알려 줍니다. 한번 물어볼까요? 
플러터로 만드는 chatGPT
플러터로 만드는 chatgpt 클론앱 입니다. chatgpt App 사용중에 "따다다다다다~"^^ 하면서 토큰(word)단위로 답변을 표시하는 애니메이션이 귀엽기도 해서 이것을 구현해보자 싶어 toy project로 만들었습니다. openAI가 제공하는 API를 사용했습니다. API 사용상의 특별한 점은 없습니다. openAI는 python, nodejs(javascript) 라이브러리를 제공하지만 API 자체도 Resful 형식으로 단순하기 때문에 Dart/flutter로 구현하는데 큰 어려움은 없었습니다. Ux 아주 단순합니다. 채팅 TextField에 요청(Query)를 입력하고 보내면 chatGPT 응답이 출력됩니다. 타이핑 입
colab openai API연동
colab환경에서 openAI API 연동해서 사용하기 1. colab 구글 드라이브 > 새로만들기 > 더보기 > google colaboratory 구글 메인페이지에서 더보기 누르기 구글 드라이브 선택 
openai api 이미지 생성, 저장
openai api를 사용하여 이미지를 생성하고 저장하는 방법 (참고 https://platform.openai.com/docs/guides/images) 결과는 다음과 같다