Azure OpenAI Service를 사용하여 생성 AI 솔루션 개발
Introducing GPT-4o
MS AI Odyssey
certification
공부하자
I love hands-on
FB- powerplatform
박태영: 기립박수
OpenAI의 신작 GPT-4o가 출시되었다. 결과 퀄리티와 한국어 실력 면에서 Claude 3 Opus가 GPT4를 압도했고 API 가격도 더 저렴했기 때문에 한동안 Opus를 써왔다. 그런데 GPT4o를 보니 일단 퀄리티와 한국어 실력이 Opus와 비슷하거나 살짝 능가한 수준으로 보인다.
원래 영어는 한 단어가 1토큰이고, 한국어는 한 글자가 1토큰 정도 되어서 엄청 비쌌다. 게다가 Opus는 GPT4에 비해서도 실제 토큰 카운트가 20% 정도 더 컸다. 그런데 이번 GPT4o에서는 한국어 토큰 수를 무려 58%를 줄였다. (?!!)
이는 토큰당 가격이 동일하다고 가정하더라도 비용이 1/3 수준이라는 뜻이다. 그런데 여기에 더해 토큰당 가격이 Opus의 약 1/4이다. 종합하면 한국어를 메인으로 하는 서비스의 경우 원가가 Opus대비 1/12 정도 저렴한 엔진이 생긴 것이다.
첫 요청 후 응답에 걸리는 시간, 즉 레이턴시도 주목할 만하다. 원래도 Opus가 5배 정도 느렸다. 그런데 이번 GPT4o는 또 2배 속도를 개선했다. 즉 Opus와는 10배 속도로 벌였다는 것이다.
사실 가격도 레이턴시도 품질 때문에 포기할 수 있었는데, 이제 품질을 따라잡고 보니 10배 빠르고 12배 싼 옵션이 생긴 것이다. 모르긴 몰라도 sLLM이니 온프레미스니 로컬라이징이니 하는 것도 한 방 맞을 정도의 파급력으로 보인다. 한국어 실시간 응답에는 특히 새로운 지평이 열렸다.
최승준: 플레이그라운드에 바로 들어왔군요. gpt-4o
https://openai.com/index/hello-gpt-4o/
(콤보 박스 열어 보면 많은 예시들이 있습니다)
혹시 이게 최근의 gpt2-chatbot이었던걸까요? (맞다고 합니다)
https://twitter.com/LiamFedus/status/1790064963966370209
샘 올트만의 블로그 포스팅
https://blog.samaltman.com/gpt-4o
“우리는 사업체이기 때문에 유료화할 수 있는 많은 것들을 찾을 것이며, 이는 (희망적으로) 수십억 명의 사람들에게 무료로 뛰어난 AI 서비스를 제공하는 데 도움이 될 것입니다.” - 사업체 강조.
How can I access GPT-4, GPT-4 Turbo and GPT-4o?
오늘 다시 올라간 눈높이(속도, 가격, 경험 등)를 이제 다른 진영에서 어떻게 대응할지 궁금합니다.
데모 중에는 이런 모먼트가 압권이네요.
원래 이런 her스러운 접근은 조심스럽게 경계하던 것일텐데, 이젠 너도 나도 하는군요. (Anthropic의 Claude 3가 3월 초에 그런 경계에 대해 실험하기도 했죠)
그래도 다행(?)인 것은 기본 베이스 모델의 성능은 GPT-4 급이란 것이지만, 그것도 다음 파도가 올해 11월 즈음 올지도 모르죠.
아마도 당분간 확실해 보이는 것은 눈높이를 맞춰야 하니까 생존하려면 다들 따라 올라가지 않을 수 없고 약간 시간이 지나면 언제 이게 놀라웠냐는 듯이 당연하게 여길 거라는거죠. (락인)
데스크톱 화면을 중계해서 비전을 쓸 수 있는 ChatGPT 데스크탑 앱을 얼른 사용해 보고 싶어집니다. 많은 UI문제가 이걸로 그냥 해결될 것 같아요.
- Introducing GPT-4o (2024. 5. 13.): https://www.youtube.com/watch?v=DQacCB9tDaw
- (더 많은 시연 영상들)
