LLM serving의 성능은 메모리 크기에 의해 좌우된다. Autoregressive decoding 과정에서, LLM의 input으로 주어지는 input token들은 key, value tensor를 생성하고, 다음 token을 생성하기 위해 GPU memory에

Single GPU에 모델의 parameter를 적재할 수 없을 경우, 다중 GPU를 활용한 efficient training 방법인 DP(Data parallelism)와 DDP(Distributed Data parallelism)을 사용할 수 없다. 이때 사용 가능

사진: <a href="https://unsplash.com/ko/%EC%82%AC%EC%A7%84/tZw3fcjUIpM?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unspla

model loadingforward passbackward assoptimizer steprun next iterations1\. model loadingmodel parameter를 GPU로 보낸다.2\. forward passinput을 model에 보내고, 중간

보통 pretrain된 모델은 pretrain 시 지정한 input의 maxtokenlength에 대해 매우 민감하다. 예를들어, 1024가 maxtoken_length로 pretrain된 모델이 있다고 하면 그 이상의 token길이를 가지는 input을 입력할 경우

거대한 neural network를 수렴하게끔 학습시키는 것은 대부분 매우 많은 비용이 필요하다. 이 때문에 소량의 미리 학습된 dense model 여러 task, context에 재사용된다. 모델 크기를 비용에서 제외하기 위한 노력인 increasingly, spa

최근, chatbot의 개발 및 릴리즈에 상당한 추진이 있었다. Chracter.ai의 chatbot에서 ChatGPT, Bard까지, 채팅을 이용해 봇을 튜닝하는 유저들의 경험은 매우 뜨거운 주제가 되었다. 이러한 뜨거운 관심에 오픈소스의 출현과 오픈소스 대체제가

어? 왜 내가 원하는 내용이 tag 안에 없지?gazpacho library를 사용해 크롤링을 하던 도중 위와 같은 문제를 맞닥뜨렸다. 이런 경우는 tag 안의 내용이 동적으로 생성되는 부분이였기에 단순히 html 코드만 받아온 상태에서는 이를 긁을 수 없다. 현재

암흑에서만 유령은 나돌고 암흑에서만 사탄은 기지개를 켜고 생기를 얻는 것이다.그러기에 그는 빛을 즐겨한다. 밝음을 향하여 온종일 목이 아프도록 얼굴을 돌려대는 것이다. - 해바라기의 생태(박화성) 본문생각해보면 해바라기는 꽃 중에서도 매우 큰 축에 속한다. 게다가 이번

Named Entity Recognition(NER)은 번역하면 개체명 인식으로 불린다. 그렇다면 개체명 인식은 무엇을 하는 task인 것일까? 말 그대로 이름을 가진 객체를 인식하겠다는 것이다. jminj는 오늘 회사일을 집에서 수행했다.위와 같은 문장이 우리에게 주

Cloze Tests는 학생들의 언어 실력을 평가하는 시험에서 사용되는 방식이다. Question은 Passage에서 등장한 word나 entity들을 제거해 만들어진다. 여기에 Machine이 빈칸을 채워 넣는 Task이다.answer A는 주어진 context C에

이런 거추장스럽고 번거로운 짐들을 훨훨 벗어버리고 싶지만, 이왕 백팔번뇌를 해탈 못할 바에야, 미안과 연민을 되풀이하면서 짐승을 기르고 꽃나무를 가꾸면서 살아갈밖에 없다. - 사치스런 번뇌(김소운) 본문어제 읽었던 천경자 작가의 "한"이라는 수필과 내용이 이 수필을

이게 인생으로서 매력이다. 이런 매력 속에서 죽을 때가 되면 아무에게도 폐 끼치지 않고 웃고 죽는 것이 현대의 한이다. 그것을 나는 그림 속에 담으려 한다. 그게 잘 안 될 때는 나는 판소리의 한에서 내 머릿속의 한을 끄집어낼 수 있다는 것이다. - 한(천경자) 본문이

식도락이라는 말은 <국어대사전>에 보면 '여러가지 음식을 두루 맛보며 먹는 일을 도락으로 삼는 일'이라고 되어있다. - 식도락(신석초) 본문 무슨 책을 읽어볼까 하고 책장을 뒤적거리다 보니 아주 오래 전 사촌이 주셨던 논술 책들이 눈에 들어왔다. 그 중 가장 가까