# kubeflow

33개의 포스트
post-thumbnail

아무도 안알려주는 on-premise Kubeflow 구축해보자(with cuda)

회사에서 모델을 개발하니 Production을 해야하고 이를 실제 배포까지 진행한다면 많은 단계를 거쳐야하고 모니터링 및 복구가 가능해야 합니다.이에따라 MLOps가 필요해졌고 고객요구에 따라 Sagemaker를 활용하여 MLOps를 구축하게 되었습니다.사실 MLOps

2022년 7월 26일
·
0개의 댓글
·
post-thumbnail

Kubeflow 란

Kubernetes 환경에서 개발자가 ML workflow 동작을 더욱 쉽게 관리할 수 있도록 만들어진 도구이다.

2022년 7월 16일
·
0개의 댓글
·

KFP SDK 활용방법 정리

안녕하세요!이번엔 Kubeflow 파이프라인을 개발할 때 자주 사용했던 kfp 모듈에 대해 알아보고자 합니다.SDK라고도 하고, 파이썬 입장에서 보면 패키지이기도 합니다.파이프라인을 컴파일할 때 주로 사용하지만, sdk만으로 파이프라인을 컴파일해서 업로드하고, 리스트를

2022년 6월 15일
·
1개의 댓글
·

Kubeflow 설치

docker 20.10.12minikube 1.21.0kubectl 1.120.4kustomize 4.5.1kubeflow pipeline 1.7.0은 kubernetes 1.22 버전 이상에서 작동하지 않는다. 따라서 minikube 설치 시 버전을 잘 확인하고 설치

2022년 5월 30일
·
0개의 댓글
·
post-thumbnail

Window에서 Minikube / Kubeflow 구축하기

안녕하세요, 오늘은 Window os에서 쿠버네티스를 구축하고, Kubeflow가 정상적으로 동작하는지 확인해보려고 합니다.항상 Mac 혹은 Linux Ubuntu 계열의 OS만 사용하다보니, Window로 개발환경을 구축하는게 얼마만인지 모르겠네요.Minikube 구

2022년 5월 23일
·
0개의 댓글
·
post-thumbnail

Model Train Job API 개발 - Kubernetes 환경

_ 1. 배경_ 쿠버네티스가 컨테이너 오케스트레이션 도구로 각광을 받은 이유 중 AI 환경에서의 편의성이 높은 점도 있다고 생각합니다. ML Pipeline 환경을 쿠버네티스에서 운영했을 때 학습,관리,배포를 모두 운영 할 수 있습니다. 이러한 각각의 오픈소스(Not

2022년 4월 27일
·
0개의 댓글
·
post-thumbnail

Kubeflow Componet 분석 #1 - Jupyter Notebook ( Notebook 권한 수정)

Kubeflow를 설치한 후 생성된 파드를 보면 다양한 컴포넌트들이 존재하는 것을 확인 할 수 있습니다. Kubeflow 기반의 플랫폼을 개발 하거나 정확하게 Kubeflow를 사용하기 위해서 각 컴포넌트들의 역할과 동작과정에 대한 이해가 필요하다고 느꼈습니다. 이를

2022년 4월 15일
·
0개의 댓글
·
post-thumbnail

MLOps ?

기존의 DevOps 방식의 운영으로 머신러닝 시스템 운영에 한계가 있어 생겨난 문화를 일컫는 일종의 신조어

2022년 4월 13일
·
0개의 댓글
·
post-thumbnail

minikube kubeflow 내 minio service 포트포워딩

minio-service 상태를 확인해봅시다.minio는 보통 9000번 포트를 사용합니다.minikube service listminio-service의 서비스 타입을 LoadBalancer로 노출해줍니다.이전에 Minikube의 MetalLB addons가 활성화

2022년 4월 1일
·
0개의 댓글
·
post-thumbnail

Minikube NFS 설정하기

오늘은 NFS를 설정해서 Kubeflow Pipeline에서 저장되는 DL model을 호스트에 저장시키는 방법을 알아봅시다!Minikube-Kubeflow로 MLOps를 진행하다보니 몇가지 한계점이 느껴지더군요.PV/PVC를 설정해도 pod 내부(훈련 컨테이너)에서

2022년 3월 25일
·
0개의 댓글
·
post-thumbnail

Kubeflow autoML 구축 후기

아직 프로젝트가 끝나지 않았지만, 마무리를 한 달 정도 앞두고 해결해야 할 이슈가 좀 남았지만 파이프라인이 거의 구축이 되어서 후기를 조금씩 남겨볼까 합니다.앞으로 MLOps 프로젝트를 진행하시면서, Kubeflow 이용에 많은 이슈를 겪으실텐데 조금이나마 참고가 되시

2022년 3월 20일
·
0개의 댓글
·
post-thumbnail

Airflow vs. Kubeflow

데이터 워크플로우를 파이프라인으로 관리하여 작업을 오케스트레이션하는(task orchestration) 대표적인 두 가지 툴 Airflow와 Kubeflow의 특징을 비교한 포스트입니다. 🌊 Data Workflow Management Too

2022년 3월 8일
·
0개의 댓글
·
post-thumbnail

Kubeflow V1.4 설치 및 초기 설정(User 추가, CORS, dex DB 분리)

kubeflow의 경우 kubeflow manifest github를 통해 손쉽게 설치 할 수 있습니다. 우선 kubernetes cluster는 구성되어있다고 가정하고 kustomize를 설치해야됩니다.이후 프로젝트를 clone 한 후 매니페스트를 적용하면 됩니다.

2022년 2월 17일
·
0개의 댓글
·
post-thumbnail

AWS EKS 클러스터에서 Kubeflow 사용하기 - Kubeflow 예제 실행해보기

해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 세번째 포스팅입니다.

2022년 2월 15일
·
0개의 댓글
·
post-thumbnail

AWS EKS 클러스터에서 Kubeflow 사용하기 - Kubeflow 설치하기

해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 두번째 포스팅입니다.Kubeflow 설치과정을 다룰 예정이니 AWS EKS 클러스터 구축은 이전 포스트를, 예제 실행은 다음 포스트를 참고해주세요.

2022년 2월 14일
·
0개의 댓글
·
post-thumbnail

AWS EKS 클러스터에서 Kubeflow 사용하기 - AWS EKS 구축하기

해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 첫번째 포스팅입니다.AWS EKS 클러스터 구축 단계까지만 다룰 예정이니 Kubeflow 설치 방법과 관련된 내용은 다음 포스팅을 참고해주세요.

2022년 2월 11일
·
0개의 댓글
·
post-thumbnail

Kubeflow 에서 안쓰는 노트북은 중지 시키자!!(Jupyter Notebook Culling)

ML/DL 등의 AI 학습을 하는 환경에서 하드웨어 리소스 관리는 중요한 이슈입니다. GPU, CPU 등 제한된 자원을 여러 사용자가 할당받아 사용하면서 낭비되는 사례는 굉장히 많습니다.특히 GPU의 가격이 비싼 만큼 사용할 수 있는 자원이 제한적이므로 많은 관리자가

2022년 2월 10일
·
0개의 댓글
·
post-thumbnail

온프레미스 프로덕션 환경으로 Kubernetes, kubeflow 구축하기!(Vagrant 없이, 중단)

안녕하세요!그동안 Minikube를 활용해서 쉽게 쿠버플로를 구축하고 잘 사용하고 있었는데..프로젝트 특성 상 실제 프로덕션을 진행해야하기 때문에 Minikube를 버려야 할 상황입니다.Minikube는 기본적으로 로컬에서 쿠버네티스를 쉽게 구축하고 연습, 연구 등을

2022년 1월 20일
·
0개의 댓글
·
post-thumbnail

Ubuntu 18.04 서버에 Minikube로 Kubernetes, Kubeflow 1.4.1 버전 구축하기

오늘은 온프레미스 우분투 서버에서 Minikube를 이용해서 kubeflow를 구축해보겠습니다!리눅스 정보 확인Linux bit : uname -mx86-64다운로드 정보 받아오기https://minikube.sigs.k8s.io/docs/start/cd De

2022년 1월 17일
·
0개의 댓글
·