이전 글에서는 kubeflow 대시보드 로그인까지 진행되었다.오늘은 kubeflow 대시보드의 각 기능에 대해서 알아보자.대시보드에 로그인을 하면 위 기능들을 사용 할 수 있다.대략적으로 설명을 하고 앞으로의 글에서 하나하나 자세히 사용해 볼 예정이다.Home : 전체

이전까지는 쿠버네티스를 설치하고 클러스터를 구성해 보았다. 이제는 kubeflow를 설치하기 위한 세팅과 kubeflow manifests를 이용해서 설치를 한다.

쿠버네티스는 클러스터를 어떻게 구축하나? 쿠버네티스의 구조는 위 사진처럼 표현 할 수 있다. 마스터 역활을 하는 컨트롤 플레인과 실제 컨테이너가 동작하는 노드로 이루어져있다.

이번 시리즈는 kubeflow를 설명하기 앞서 쿠버네티스에 대해 내가 이해한걸 정리 한 글이다. 쿠버네티스의 전체적인 기능을 설명하는 것이 아닌 딱 사용할때 동작하는 간단한 원리를 정리하였다.

Big Bird 논문 리뷰

이 논문에서는 요약에 중점을 둔 다중 문서 표현을 위해 사전 학습된 훈련모델인 PRIMERA를 소개한다. PRIMERA는 문서의 정보를 연결하고 집계하여 인코더-디코더 트랜스포머를 사용하여 문서들의 입력 처리를 단순화하였다. self-attention에서 인풋 시퀀스

이전글에서는 BERT의 이론을 정리해보았다.이번글에서는 BERT 학습 이전에 토크나이즈를 정리할 예정이다.

지식 증류의 개념을 공부해 보았다.

요약은 크게 두 가지로 분류된다. 하나는 추출적 요약이고 하나는 추상적 요약이다. 추출적 요약은 원문 텍스트에서 주요 문장을 그대로 가져오는 방식이라면, 추상적 요약은 원문 텍스트를 보고 한 줄로 요약하듯이 표현하는 방식이다.PEGASUS에서는 추상적 요약 모델로써 긴

MLflow 는 코드 패킹, 실험 추적, 모델 공유 및 배포를 간소화하는 플랫폼이다. MLflow 에서는 Tensorflw, Pytorch, XGBoost 등 많은 기계 학습 라이브러리를 사용 할 수 있는 API 를 제공한다.

BERT의 문제점 중 하나는 수백만 개의 변수로 구성되어있다. BERT-base 같은 경우 약 1억개의 변수로 구성되어 있어 모델 학습이 어렵고 추론 시 시간이 많이 걸린다.ALBERT는 두 가지 방법을 사용해 BERT와 대비해 변수를 적게 사용한다.크로스 레이어 변수

RoBERTa는 기본적으로 BERT와 동일하고 사전 학습 시 다음의 항목을 변경하였다.MLM 태스크에서 정적 마스킹이 아닌 동적 마스킹 방법을 적용NSP 태스크를 제거하고 MLM 태스크만 학습에 사용배치 크기를 증가해 학습토크나이저로 BBPE(byte-level BPE

BERT(Bidirectional Encoder Representation from Transformer)는 구글에서 발표한 임베딩 모델이다. 질문에 대한 대답, 텍스트 생성, 문장 분류 등과 같은 태스크에서 가장 좋은 성능을 도출해 자연어 처리 분야에 크게 기여해왔다

BERT(Bidirectional Encoder Representation from Transformer)는 구글에서 발표한 임베딩 모델이다. 질문에 대한 대답, 텍스트 생성, 문장 분류 등과 같은 태스크에서 가장 좋은 성능을 도출해 자연어 처리 분야에 크게 기여해왔다

트랜스포머의 구조는 N개의 인코더와 디코더가 쌓여있고 입력 문장(소스 문장)을 입력하면 인코더에서 해당 문장에 대한 표현을 학습시키고, 그 결과값을 디코더에 보내면 디코더에서 타깃 문장을 생성한다.디코더는 vocab에 대한 확률 분포를 예측하고 확률이 가장 큰 단어를

앞선 글에서 인코더는 N개를 누적하여 쌓을 수 있다는 것을 확인했다. 디코더도 인코더와 동일하게 쌓을 수 있다. N = 2로 예를 들면 인코더가 2개 디코더가 2개로 이루어진 트랜스포머 모델이 만들어진다.디코더에서는 시간 스텝 t = 1이면 디코더의 입력값은 문장의 시

트랜스포머는 자연어처리에서 자주 사용하는 딥러닝 아키텍처 중 하나다. 트랜스포머가 나온 이후로는 RNN과 LSTM를 사용한 태스크는 트랜스포머로 많이 대체되었다. 또한 BERT, GPT, T5 등과 같은 자연어 처리 모델에 트랜스포머 아키텍처가 적용됐다.트랜스포머는 인