# mlops
[Docker] 도커 데스크탑 설치 + mlflow 웹서버 환경 구축해보기
Docker 데스크탑 설치 + 간단하게 mlflow 서버 실행해보기
ML Engineering & DevOps
머신러닝은, 정말 극단적으로 축약해서 포현하자면 "학습하고, 예측하는" 것입니다. 하지만 실제 머신러닝을 어딘가에 적용하기 위해서는, 다음과 같은 문제들이 나타납니다.a. 데이터는 어디서, 어떻게 오는가?b. 예측은 잘 수행되고 있는가?c. 예측 Output은 어디로,
네이버 부스트캠프 5기 8주차 주간 회고
각 모듈이 서로 영향을 주지 않고 쉽게 교체가능하게끔 독립적으로 설계하는 것을 의미한다. (함수의 집합 == 모듈)각 모듈내의 함수가 서로 엮여서 동작한다. 각 모듈의 구성요소가 목적을 달성하기 위한 정도각 모듈들의 상호 의존성을 나타낸다.응집도 ↑ 모듈성 ↓ 소프트웨
MLOps 개론
Machine Learning와 Operations의 합성어로 머신러닝 모델을 운영하면서 반복적으로 필요한 업무를 자동화 시키는 과정 머신러닝 모델 개발과 머신러닝 모델 운영에서 사용되는 문제, 반복을 최소화하고 비즈니스 가치를 창출하는 것이 목표이다.위 그림과 같이
kubeflow 대시보드 및 docker-registry
이전 글에서는 kubeflow 대시보드 로그인까지 진행되었다.오늘은 kubeflow 대시보드의 각 기능에 대해서 알아보자.대시보드에 로그인을 하면 위 기능들을 사용 할 수 있다.대략적으로 설명을 하고 앞으로의 글에서 하나하나 자세히 사용해 볼 예정이다.Home : 전체
DevOps & MLOps RoadMap
최근 갈팡지팡 내 진로에 대해 좀 방황을 많이 했는데, 그래도 역시 하고 싶은 걸 해야겠다.최근에 코드 최적화도 하고, 인프라도 공부해보고, 보안도 다시 공부해봤지만 하나씩 아쉽다. 나는 무언가를 딱 세팅해놓고, 그게 쫙 굴러가는 걸, 보는 게 가장 기분이 좋다. 마치
Kubeflow 설치
이전까지는 쿠버네티스를 설치하고 클러스터를 구성해 보았다. 이제는 kubeflow를 설치하기 위한 세팅과 kubeflow manifests를 이용해서 설치를 한다.
쿠버네티스의 구조
쿠버네티스는 클러스터를 어떻게 구축하나? 쿠버네티스의 구조는 위 사진처럼 표현 할 수 있다. 마스터 역활을 하는 컨트롤 플레인과 실제 컨테이너가 동작하는 노드로 이루어져있다.
[MLOps] An Overview of the End-to-End Machine Learning Workflow
머신러닝의 프로젝트의 목표는 수집된 데이터를 사용하여 이 데이터를 머신러닝 알고리즘을 적용하여 통계 분석을 제공하는 것입니다.즉, 여기서 기본적으로 Data, ML Model, Code에 대한 세 가지의 주요 아티팩트에 대한 이야기를 할 수 있습니다.기본적인 아티팩트
[MLOps] Triton Inference Server 구축기 2 - model repository 만들기
이전 글에서 triton inference server를 docker로 띄우는데 성공하였다면, 이제 serving 하고자 하는 모델을 trained model들이 위치하게 된다. 이어지는 블로그 글에서 자세한 내용을 적을 예정이다. 여기서 지정한 로컬 모델 경로에는
[WandB] Sweep 사용법
: 하이퍼파라미터를 자동으로 최적화해주는 도구하이퍼파라미터를 사용자가 선택한 method로 최적화를 진행(grid방식, random방식, bayes방식)선택한 search 방식으로 하이퍼 파라미터 튜닝이 완료되면, Wandb의 웹에서 dashboard로 시각화된 모습을
쿠버네티스란 무엇인가
이번 시리즈는 kubeflow를 설명하기 앞서 쿠버네티스에 대해 내가 이해한걸 정리 한 글이다. 쿠버네티스의 전체적인 기능을 설명하는 것이 아닌 딱 사용할때 동작하는 간단한 원리를 정리하였다.
[MLOps] Triton Inference Server 구축기 1 - 설치
공식 문서에서 추천하는 triton build 및 deployment 방법은 docker 이미지를 통한 빌드이기 때문에 추천하는 방식으로 블로그를 쓰려고 한다. 1. Docker, NVIDIA Container Toolkit 설치하기 Triton inference
[MLOps] Triton Inference Server 구축기 0 - 공식 문서 모음
Triton으로 inference server를 구축하는 과정에서 정보가 많이 없어 고생을 많이 하고 있다. 예시도 많이 없을 뿐더러, Nvidia에서 나온 공식 문서도 이곳 저곳 흩어져 있어서 이곳에 정리해보려 한다.
[MLOps] Transformers로 학습한 모델 ONNX로 변환하기
Transformers로 학습한 모델을 ONNX로 변환 하는 방법, ONNX란?
[MLOps] Inference Model Format
Inference model formats for production deployment
[MLOps] PyTorch 모델을 TensorRT로 변환하기
In this tutorial, converting a model from PyTorch to TensorRT™ involves the following general steps:Build a PyTorch model by doing any of the two opti