# generative

redbeet1007

인공지능(AI)은 현재 우리의 삶에 많은 영향을 미치고 있다. 특히, Chat GPT와 같은 생성형 AI는 다양한 문제를 해결하거나, 코딩을 하는 데 유용하게 사용되고 있다. 생성형 AI는 우리가 원하는 결과를 얻기 위해 적절한 명령을 내려야 한다. 이러한 명령을 프롬프트(Prompt)라고 하며, 프롬프트를 효과적으로 설계하고 개선하는 기술을 프롬프트 엔지니어링(Prompt Engineering)이라고 한다. 프롬프트 엔지니어링은 AI의 성능과 품질을 높이는 데 매우 중요한 역할을 한다. 따라서 OpenAI사나 국내 Wrtn사에서는 프롬프트 엔지니어링만을 전문으로 하는 프롬프트 엔지니어를 억대 연봉에 채용하고 있다. 이처럼 개인뿐 아니라 기업에서도 프롬프트 엔지니어링에 대한 수요가 점점 높아지고 있다. 프롬프트 엔지니어링에는 분명 몇 가지의 정형화된 형태나 기술이 있음에도 불구하고, 이를 체계적으로 구조화하고 관리하는 도구는 부족한 실정이다. 몇몇 프롬프트 도구를 이용해 보았지만

ji1kang

뤼튼 테크놀로지스에서 주최한 프롬프톤의 참여 후기와 작업 과정을 기록한 글 프롬프톤은 자사의 프롬프트 개발 툴을 가지고 프롬프트 아이디어 + 구현 + 발표 과정을 수행하는 일종의 해커톤 ☀️ 대회장 가면서 프롬프트 엔지니어링 배워볼까 하면서 강의 듣고 실습해보던 도중에 알게된 프롬프톤 뤼튼 3개월 무료 이용권이 끌렸고! 이왕이면 카테고리 우승 정도 노려볼까 하면서 같이 코테 준비하던 연구실 친구들 꼬셔서 일단 등록했다 드디어 대회 당일에는 미리 모여서 어떻게 할까 후보군을 생각하고 밥먹으러 갔다 후보 1. 사업공고로 보도자료 만들기 (업무용) 후보 2. 업무용 사과문 작성하기 (업무용) 후보 3. 넷플릭스풍 줄거리 만들기 (엔터테이먼트용, 이런거) 후보 4.

ellie812

Large Language Model, LLMs Large Language Models(LLMs)은 2020년 OpenAI의 GPT-3와 Google의 LaMDA 챗봇, open-source LLM인 BLOOM 그리고 최근 가장 많은 관심을 받고 있는 GPT-3.5 기반의 ChatGPT의 기본이 된다. 최근 이러한 LLMs의 큰 웨이브 속에서 LLMs을 활용한 다양한 어플리케이션이 등장하였고, LangChain도 이러한 흐름과 함께 2022년 10월에 등장하였다. LangChain은 아직 초기 단계이긴 하나, LLMs을 기반으로 어플리케이션을 만들 수 있는 기능들을 제공한다. LangChain이란? LangChain이란 간단히 말해 LLMs을 중심으로 하는 Framework이다. LangChain은 LLMs을 감싸 그 위에서 다양한 모듈(아래 참고)을 활용하여 복잡한 어플리케이션을 만들 수 있다. LangChain은 OpenAI, HugginFace Hub에서 제공하

mn99134

생성형 AI , GPT에 많은 관심을 가지고 있습니다. GPT와 그의 친구들을 활용하는 방법을 개발하고 널리 알려 꿈을 잊고 사는 사람들에게 꿈을 찾아주고 도전하는 용기를 주고 싶습니다. 응원해주세요. 그리고 함께해요. 많은 도움이 됩니다. Generative AI 속도( 생성형 AI ) 챗gpt 사용자수챗GPT 사용자 100만명이 모이는데 단 2일이 걸렸습니다. Generative AI 소개 기존의 AI가 자동화와 시스템화에 머물렀다면 생성 AI는 조금 더 사람과 가까운 일을 시작했다. 언어에 있어서 문맥을 이해하고 그림과 음악과 같은 창의적인 영역을 건

xuio

image 혹은 sequence data를 다루는 모델을 공부하다보면, Auto-Regressive라는 개념이 자주 등장한다. 또한, Sequence data를 다룰 때에 parameter를 너무 과도하게 가져가지 않기 위해 Markov Assumption을 이용하기도 한다. > 이번 포스트에서는 해당 내용을 다루고자 한다. 🐣 Basic Discrete Distributions 우선 이산적 분포에 대해 생각해보자. 베르누이 분포(Bernoulli distribution)를 표현하기 위해서는 단 하나의 숫자가 필요하다. 또다른 카테고리 분포를 m개의 state가 있다면 표현하기 위해서는 m-1개의 parameter가 필요하다. m개가 아닌 이유는 m-1개의 확률만 정의가 되더라도 마지막 하나는 결

crosstar1228

[https://en.ax-semantics.com/natural-language-generation-explained/] NLG Natural Language Generation 주어진 정보를 기반으로 축약(abbreviation), 보강, 재구성 NLU에 비해 발전이 많이 되지 않았고, 2022년 현재 BenchMark dataset이 생기면서 연구가 활발히 진행되고 있음 1) Text abbreviation a. summarization abstractive, extractive summarization 으로 나누어짐 abstractive : 내용으로부터 주요 단어 추출 및 조합하여 요약, extractive보다 복잡한 task extractive :

hsp

전편 Dialogue Response Ranking Training with Large-Scale Human Feedback Data 논문요약 (1) 에 이어서 계속 포스팅합니다 :) The DialogRPT: Dialog Ranking Pretrained Transformers 각 샘플에 feedback 예측 점수를 매기는 대신 샘플쌍에 대해 더 적절한 응답을 분류하는 테스크(A Contrastive Learning approach)로 아래 규칙을 따른다. The model is trained to predict a higher score for the positive sample r+ (i.e. the response with

hsp

논문링크: https://arxiv.org/abs/2004.05816 Generative 방식에서 Persona Consistency를 높이는 방식에 대해 제안한 논문 기존 SOTA 방법은 페르소나 Contradictory 에 insensitive 하다는 것을 강조하며 이를 보안하는 방법을 제안함 왜 insensitive한가 분석해보니 Contradict @ 1 결과를 낳은 발화들은 SPICE metrics에는 낮은 점수를 갖지만 ROUGE에서는 높은 점수를 받았음. ![](https://images.velog.io/images/hsp/post/

peteryoon

모델의 두 가지 종류인 Deterministic 방법과 Generative 방법의 기본 개념과 차이점에 대해 공부했다. Deterministic model Deterministic model이란 데이터 $X$가 주어졌을 때 라벨 $Y$가 나타날 조건부 확률 $p(Y|X)$에 대해 직접적으로 계산하는 모델을 뜻한다. 라벨 $Y$가 반드시 필요한 지도학습 (Supervised learning)에 속한다. 이 모델의 목표는 결정경계 (Decision boundray) 를 잘 학습하는 것이다. Generative model에 비해 가정(hypothesis)가 단순한 편이며 학습 데이터가 충분하다면 좋은성능을 보인다. 선형회귀(Linear regression)과 로지스틱회귀(Logistic regression)이 대표적인 예시이다. Generative model Gerenrative model이란 데이터 $X$에 대한 분포를 두개의 확률모