1.2. 학습과 훈련은 다르다!

학습과? 훈련은? 다!르!다!
AI 분야에 있어서 학습과! 훈련은! 특 히 다르다!!!!!!!!!!!!!!!

학습 VS 훈련

간단하게 몇마디로 하자면!

🤓학습: 경험을 통해 모델의 성능을 향상시키는 전반적인 프로세스
😬훈련: 모델을 특정 데이터 세트에 맞추는 과정

더 자세히 알아보도록 하자~

Train(훈련)

주요개념

데이터를 넣으면 모델이 업데이트되어야 한다.
데이터를 넣으면 모델이 업데이트되어야 한다.
데이터를 넣으면 모델이 업데이트되어야 한다.

예시

컴퓨터에게 1 + 1을 물어보았을 때 틀렸다고 하자.
🔻
그러면 사용자는 컴퓨터에게 1 + 1 = 2라는 답안을 제공한다.
🔻
컴퓨터는 답안을 통해 오답정리, 즉 업데이트를 한다!
🔻
사용자가 다시 1 + 1을 물어보았을 때, 컴퓨터는 2를 출력한다.

훈련 방법

• paramenter update
• weight update
• fine tuning

---

Inference(추론)

데이터를 넣으면 모델이 결과만 도출하는 것이다.
즉, 추론(예측)만 진행할 뿐이고 오답정리가 되지 않는다.
GPT3가 이에 해당한다.

엥 gpt가 훈련을 안하는데 어떻게 성능이 좋아지냐? 고 물어본다면

gpt 자체는 예측모델이고, 이 gpt를 '활용'하여 훈련시키는 것입니다!

라고 답할수 있다~

---

그럼 chatgpt는?

gpt는 추론만 하잖아?
그리고 gpt로 chatgpt를 만들었잖아?
그럼 chatgpt는 오답정리를 해 안해?

합니다❗

gpt3 이후에 만들어진 chatgpt에는 in-context learning이 사용된다.
이 기술덕분에 챗짚티는 하나의 채팅방 내용(prompt)을 기억할 수 있다.
그래서 채팅방을 벗어나지 않으면 그 채팅방 내에서 어떤 질문을 했었는지 모두 기억할 수 있는 것이다.

만족스러운 답은 아니지만 틀린건 없다..ㅎ^^

---

Search VS Generation

서치 엔진과 생성 모델 비교로 마무리하려한다.

• 서치엔진: google, naver ...
• 생성 모델: chatgpt

공통점

1. 사용자의 질의에 대답
2. 원하는 정보 제공
3. 대용량 데이터 필요
4. 많은 양의 computing source 필요

차이점

chatgpt 특징 기반 차이점이다.

1. 웹 상에 존재하는 정보를 단순히 가져오기보다는 조합된 새로운 정보 제공
2. 여러 응답이 아닌 하나의 답변 제공
3. 잘못된 정보 포함 가능성 존재
   👉 halluciation[환각] : 데이터 편향이나 훈련데이터 부족으로 인해 발생

---

[출처]

강의: https://event-us.kr/pgdai/event/58478