๐ AI๊ฐ ์ธ๊ฐ์ ๋์ฒดํ๋ค๊ณ ? ๐ค ๋๊ณผํ์๊ฐ ๋ถ์ํ ChatGPT์ ๋ชจ๋ ๊ฒ'์กฐ์น์ฐ์ ํ๊ตฌ์ํ' ์ฑ๋์์ ChatGPT์ ๋ํด '์ด๋ป๊ฒ ์ ์ฌ์ฉํ ๊ฒ์ธ๊ฐ?', '์์ผ๋ก ์ด๋ป๊ฒ ๋์ฒํด์ผํ๋๊ฐ?'๋ผ๋ ์ฒ ํ์ ์ธ ์ ๊ทผ์ผ๋ก ์ด์ผ๊ธฐ๋ฅผ ๋๋ด๋๋ฐ, ํ๋ฒ์ฏค ์๊ฐํด๋ด์ผํ ์ฃผ์ ๊ฐ ์๋
ChatGPT์ ์ ์ฌํ chat๊ธฐ๋ฐ์ ์คํ์์ค ๋ชจ๋ธ๋ค์ด ์ต๊ทผ ์์ ๊ณต๊ฐ๋๊ณ ์๋ค. (Dall-E ์ ๋ฃ ๊ณต๊ฐ ํ, Stable Diffusion์ด๋ผ๋ ์คํ์์ค๊ฐ ๋ฑ์ฅํ ๊ฒ๊ณผ ์ ์ฌํ ๋งฅ๋ฝ์ธ ๋ฏ)์ต๊ทผ LLaMA 65B๋ฅผ 4๋นํธ ์์ํํด์ ๊ฐ์ธ ๋ฉํ์์๋ ๋๋ฆฌ๋๋ฐ(https&
ChatGPT, BARD, LLaMa ๋ฑ๊ณผ ๊ฐ์ LLM์ ๋ค์ฌ๋ค๋ฅํฉ๋๋ค. In-context learning(ICL)์ ์ฑ๋ฅ์ ์ฆ๋ช ํ GPT ๋ชจ๋ธ์ ๋ฑ์ฅ์ผ๋ก ์ธํด, ๋ฐ์ดํฐ ๋ผ๋ฒจ๋ง์ด ํ์ํ fine-tuning ๋ฐฉ๋ฒ๋ก ์ ์๊ฐ๊ณผ ๋น์ฉ ์ธก๋ฉด์์ ๋นํจ์จ์ ์ธ ๋ฐฉ๋ฒ๋ก ์ด ๋์ด๋ฒ๋ ธ์ต
KoELECTRA๋ก ์ ๋ช ํ์ ๋ฐ์ฅ์๋, EleutherAI์์ ํ๋ํ์๋ฉด์ Polyglot, olso๋ฑ ๊ฐ๋ฐํ์ ํ๋์ย ๊ณ ํ์ ๋, ํ ์ค์ ๊ณ ์ํ๋, ์ด๋ฃจ๋ค๋ฅผ ๊ฐ๋ฐ์ค์ด์ ์ค์บํฐ๋ฉ ์ด์ฃผํ๋ ๋ฑ NLP์ ๊ณ์์ ์คํ ์์ค ๋ฐ ์ปค๋ฎค๋ํฐ์ ๋ง์ ๊ธฐ์ฌ๋ฅผ ํด์ฃผ๊ณ ๊ณ์๋ ๋ถ๋ค์ด ์คํผ
์ง๋ ๊ธ์์ RedisAI๊ฐ ๋ฌด์์ธ์ง ๊ทธ๋ฆฌ๊ณ RedisAI์ FastAPI๋ฅผ ํ์ฉํ ๊ฐ๋จํ ์ถ๋ก ์๋ฒ๋ฅผ ๊ตฌ์ฑํด๋ณด์์ต๋๋ค. ํ์ง๋ง ์ด์ํ๊ฒฝ์์ ์ธ์ ๋์ด๋ ์ง ๋ชจ๋ฅผ(์ ๋ง ์ธ์ ๋์ด๋ ์ง ๋ชจ๋ฅธ๋ค๊ณ ํ๋ค..๐ฅน) ํธ๋ํฝ์ ๊ฐ๋นํ๊ธฐ ์ํด์๋ ํ์ฅ์ฑ์ ๊ณ ๋ คํ ์ค์ผ์ผ ์ธ/์์์ด ๊ฐ๋ฅ
์ต๊ทผ ํ์์ ์์ฒด NLU ๋ชจ๋ธ์ ๊ฐ๋ฐํ๋ฉฐ Multi-model Serving์ ๋ํ ์์๊ฐ ์๊ฒจ๋ฌ์ต๋๋ค. ๊ฐ ๊ณ ๊ฐ(์์ด์ ํธ)๋ง๋ค
NLP ์ ๊ณ๋ฅผ ๋ณด๊ณ ์์๋ฉด ์ฐ๋ฆฌ๊ฐ ๋ชจ๋ ์๋งํ ๋ด๋๋ผ ํ๋ ๊ธฐ์ ๋ค์ ์๋ก ์๋คํฌ์ด ๊ฑฐ๋์ธ์ด๋ชจ๋ธ(LLM)์ ๋ฐํํ๊ธฐ ๋ฐ์ ๊ฒ ๊ฐ์ต๋๋ค. ์ผ๋ง ์ ๊ตฌ๊ธ์์ ๊ณต๊ฐ๋ PaLM(Pathways Language Model)์ GPT-3(1,750์ต๊ฐ)๋ณด๋ค ์ฝ 3๋ฐฐ๋ ํฐ ํ๋ผ๋ฏธํฐ(
Intro ์ด์ ํฌ์คํธ์์ ์๊ฐํ SentenceBERT๋ฅผ ์ด๋ป๊ฒ ํ์ตํ๋์ง ๋ ผ๋ฌธ ๋ฐ sentence-transformers ๊ณต์ ๊นํ์ ๊ธฐ์ค์ผ๋ก ๋ช ๊ฐ์ง ๋ฐฉ๋ฒ์ ์์๋ณด๊ณ ์ด๋ค ๋ฐฉ๋ฒ์ด ๊ฐ์ฅ ์ข์ ์ฑ๋ฅ์ ๋ด์๋์ง ์๊ฐํ๊ณ ์ ํ๋ค. 1. SBERT ํ์ต ๋ฐ์ดํฐ SBERT
๊ทธ ๋์ ์๋์ฐ๋ฅผ ์ฌ์ฉํ๋ฉฐ ๋งฅ์ผ๋ก ๊ฐ์ํ๊น ๊ณ ๋ฏผํ๋ค๊ฐ ๋จ์ด์๋ ์ด์ ๊ฐ ๋ฐ๋ก WSL(Windows Subsystem for Linux) ๋๋ฌธ์ด์๋ค.์ฌ์ค ์๋์ฐ์์ ๊ฐ๋ฐ์ ํ๋ค๋ ๊ฒ์ ์๊ฐ์ , ์ ์ ์ ์๋์ง ์๋ชจ๊ฐ ํฌ๋ค๊ณ ์๊ฐํ๋ค. ์๋์ฐ์์ ๊ฐ๋ฐ ํ ๊ฐ๋ฐ์๋ฒ์ ํ ์คํธ ๋ฐ
Intro ๋ฌธ์ฅ ๊ฐ(ํน์ ๋ฌธ์ ๊ฐ) ์ ์ฌ๋ ๋ถ์์์ ์ข์ ์ฑ๋ฅ์ ๋ด๊ณ ์๋ Sentence-BERT์ ๋ํด ์์๋ณด๋ ค๊ณ ํ๋ค. ๋ ผ๋ฌธ ์์ ๋ Sentence-BERT: Sentence Embedding using Siamese BERT-Networks์ด๋ฉฐ, ์ต๊ทผ ์ฑ๋ฅ์ด
์ง๋ ํฌ์คํธ(Transformers์ Tensorflow๋ฅผ ํ์ฉํ BERT Fine-tuning)์ ์ด์ด, ์ด๋ฒ์๋ HuggingFace Model Hub์ ํ์ต๋ ๋ชจ๋ธ์ ํฌํ ํ๋ ๋ฐฉ๋ฒ์ ์๊ฐํ๊ณ ์ ํ๋ค.HuggingFace Model Hub๋ ์ฝ๋ ๊ณต์ ์ ์ฅ์์ธ gi
์ด๋ฒ ํฌ์คํธ์์๋ ๐คHuggingFace์ Transformers ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ Tensorflow๋ฅผ ํตํด ์ฌ์ ํ์ต๋ BERT๋ชจ๋ธ์ Fine-tuningํ์ฌ Multi-Class Text Classification์ ์ํํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์์๋ณด๊ณ ์ ํ๋ค. ํนํ ์ด๋ฒ
docker service ์์sudo service docker start๋์์ค์ธ ์ปจํ ์ด๋ ํ์ธdocker ps์ ์ง๋ ์ปจํ ์ด๋ ํ์ธdocker ps -a์ปจํ ์ด๋ ์ญ์ docker rm \[container id]๋ณต์์ ์ปจํ ์ด๋ ์ญ์ docker rm \[container
๊ธฐ์กด ๋งํฌ๋์ธ์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์์คํ ์ ๊ฐ ํ์ดํ๋ผ์ธ์ด ํํธํ๋๊ณ ์์คํ ๋ณต์ก๋๊ฐ ๋์ ์๋ก์ด ์์คํ ์ ํ์ฅํ๊ธฐ ์ด๋ ค์ด ์ํฉ์ด์์๊ธฐ์กด ๋ฉ์์ง ํ ์์คํ ์ธ ActiveMQ๋ฅผ ์ฌ์ฉํ์ง๋ง, ๋งํฌ๋์ธ์ ์๋ง์ ํธ๋ํฝ๊ณผ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๊ธฐ์๋ ํ๊ณ๊ฐ ์์์์ด๋ก ์ธํด ์๋ก์ด ์์คํ ์
Intro์ง๋ ํฌ์คํธ์ธ Sequence-to-Sequence with Attention์์ sequence-to-sequence ๋ชจ๋ธ์ ๊ฒฝ์ฐ RNN ๊ณ์ด์ ์ํ ์ ๊ฒฝ๋ง์ ์ฌ์ฉํจ์ผ๋ก ์ธํด ์ ๋ ฅ ์ํ์ค๊ฐ ๊ธธ์ด์ง ์ ๋ก ํ๋์ Context Vector์ ๋ชจ๋ ์ ๋ณด๋ฅผ ๋ด๊ธฐ
Intro์ต๊ทผ ๋ช ๋ ๊ฐ Transformer ๋ชจ๋ธ์ ๋ฑ์ฅ ์ดํ BERT, GPT, RoBERTa, XLNet, ELECTRA, BART ๋ฑ๊ณผ ๊ฐ์ ์ธ์ด ๋ชจ๋ธ(Language Model)์ด ๋งคํด ์๋ก์ด SOTA๋ฅผ ๋ฌ์ฑํ๋ฉฐ ๋ฑ์ฅํ๊ณ ์๋ค. ํนํ ์ธ์ด๋ชจ๋ธ์ ๊ฒฝ์ฐ self-s
Intro์ต๊ทผ NLP์ downstream tasks ์ค ํ๋์ธ Summarization๋ถ์ผ์ "PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization"์ด๋ผ๋ ์๋ก์ด ๋ ผ๋ฌธ(๋ฉ์ง ์ด
IntroInflearn์ ๋ฅ๋ฌ๋ ์ปดํจํฐ ๋น์ ์๋ฒฝ ๊ฐ์ด๋๋ฅผ ์๊ฐํ๋ฉฐ ๊ณต๋ถ ๋ชฉ์ ์ผ๋ก ์ ๋ฆฌํ ๊ธ์ ๋๋ค.Classification(๋ถ๋ฅ) : ์ด๋ฏธ์ง์ ์๋ object๊ฐ ๋ฌด์์ธ์ง๋ง ํ๋ณ, ์์น ๊ณ ๋ ค xLocalization(๋ฐ๊ฒฌ) : object ํ๋ณ ๋ฐ ๋จ ํ๋์ obj
Intro์ง๋ ํฌ์คํ (Autoencoder์ LSTM Autoencoder)์ ์ด์ด LSTM Autoencoder๋ฅผ ํตํด Anomaly Detectionํ๋ ๋ฐฉ์์ ๋ํด ์๊ฐํ๊ณ ์ ํ๋ค. Autoencoder์ ๊ฒฝ์ฐ ๋ณดํต ์ด๋ฏธ์ง์ ์์ฑ์ด๋ ๋ณต์์ ๋ง์ด ์ฌ์ฉ๋๋ฉฐ ์ด๋ฌํ
Intro๋ํ์ ์ธ ์๊ธฐ ์ง๋ ํ์ต์ธ Autoencoder์ Autoencoder์ LSTM cell์ ์ ์ฉํด ์ํ์ค ํ์ต์ด ๊ฐ๋ฅํ LSTM Autoencoder์ ๋ํด ์๊ฐํ๋ค. ์ดํ ๋ค์ ํฌ์คํ ์๋ LSTM Autoencoder๋ฅผ ํตํด ๋ฏธ๋์ ๋ฐ์ ํ ๊ณ ์ฅ์ด๋ ์ด์์