# kubeflow
Kubeflow Pipeline (1) - 데이터 준비
이번 글 부터는 본격적으로 Kubeflow 주요 리소스인 Pipeline의 개념과 사용법에 대해서 알아보겠습니다. Kubeflow 공식 문서에 따르면 Kubeflow Pipeline의 구성과 목적은 다음과 같습니다. 구성 ML/DL의 실험, 작업, 실행을 관리하고 사
3. Kubeflow - Notebooks 사용하기
Kubeflow의 Notebook은 Kubeflow UI에서 컨테이너 이미지 기반의 자체적 Jupyter Notebook 서버를 만들고 사용할 수 있는 기능입니다.이번 글에서는 지난 글에서 구축한 Kubeflow 환경 내에서 네임스페이스를 생성하고 Jupyter Not
2. Kubeflow 설치 (최신버전 / 온프레미스-가상머신)
이번 글에서는 지난 글에서 가상머신 2개로 구성한 Kubernetes 클러스터에, 공식 Manifest를 사용하여 Kubeflow 최신버전을 배포해 보겠습니다. 진행 순서 사전 필요 패키지 설치 Manifest를 통한 Kubeflow 배포 Kubeflow UI 접속
1. Kubeflow를 위한 Kubernetes 클러스터 환경 구축 (온프레미스-가상머신)
Kubeflow를 위한 Kubernetes 클러스터 구축 Part입니다.진행 환경은 Ubuntu 20.04, VirutalBox 6.1버전을 사용하였습니다.진행 순서Vagrant를 통한 가상머신 배포 (Control Plane 1개, Worker Node 1개)Kube
Kubernetes를 위한 VM 설정
Kubernetes를 로컬 매니페스트 를 사용하여 Kubeflow를 설치하는 것이 이 가이드의 목표입니다. 이를 달성하기 위해 먼저 Kubernetes를 설정해야 하며, 그러기 위해서는 가상 머신(VM)이 필요합니다. 이 과정에서 KVM과 Virtual Manager를
ubuntu에 kubeflow 환경 구축
1. 도커 설치하기 참고로 이 설치 과정은 Ubuntu 환경에서 진행됩니다. 설치를 시작하기 전에 Docker 공식 문서의 여기를 확인해보세요. - apt repository 설정하기 먼저, apt 패키지 인덱스를 업데이트하고 HTTPS로 리포지토리를 사용할 수
[MLOps] M1/M2 Apple Silicon Mac에 Kubeflow v1.7.0 설치하기
0. Kubeflow 설치 실패... 나는 Data Science를 전공했기 때문에 사실 Kubernetes와는 아예 남남 사이였다. 그런데 최근 MLOps의 필요성을 느끼게 되었고 결국 이 친구들을 다뤄야 한다는 사실을 알게 되었다. 잘 모르지만 천천히 docker
jupyterlab 컨테이너에서 terminal의 기본 shell을 bash로 설정하는 방법
개요 kubeflow notebook에서 jupyter를 쓸 때 terminal의 기본 쉘이 sh로 되어 있어서 매번 bash로 변경해줘야 하는 번거로움이 있음. Dockerfile에서 jupyter 설정으로 기본 쉘을 bash로 바꿔보자. Dockerfile 작성 다른 부분은 제외하고 마지막 부분에 69:72 라인을 보자. jupyter lab —...
[Kubeflow] kfp로 pipeline에 연결하는 방법 파헤치기
참고 [kubeflow docs] Connect the Pipelines SDK to Kubeflow Pipelines [kubeflow on aws docs] Pipelines 배경과 목표 pipeline SDK로 kubeflow piplines 서버에 연결하는 방법은 kubeflow가 어떻게 구성되어 있냐에 따라 다른데 여기서는 full kubefl...
[kubeflow Docs] TFJob 이란?
참고 [kubeflow docs] TensorFlow Training (TFJob) TFJob 이란? TFJob은 k8s 위에서 tensorflow training job을 수행하기 위한 custom resource. TFJob의 구현체는 training-operator. training-operator란 k8s 위에서 tensorflow, py...
kubeflow 대시보드 및 docker-registry
이전 글에서는 kubeflow 대시보드 로그인까지 진행되었다.오늘은 kubeflow 대시보드의 각 기능에 대해서 알아보자.대시보드에 로그인을 하면 위 기능들을 사용 할 수 있다.대략적으로 설명을 하고 앞으로의 글에서 하나하나 자세히 사용해 볼 예정이다.Home : 전체
Kubeflow 설치
이전까지는 쿠버네티스를 설치하고 클러스터를 구성해 보았다. 이제는 kubeflow를 설치하기 위한 세팅과 kubeflow manifests를 이용해서 설치를 한다.
쿠버네티스의 구조
쿠버네티스는 클러스터를 어떻게 구축하나? 쿠버네티스의 구조는 위 사진처럼 표현 할 수 있다. 마스터 역활을 하는 컨트롤 플레인과 실제 컨테이너가 동작하는 노드로 이루어져있다.
쿠버네티스란 무엇인가
이번 시리즈는 kubeflow를 설명하기 앞서 쿠버네티스에 대해 내가 이해한걸 정리 한 글이다. 쿠버네티스의 전체적인 기능을 설명하는 것이 아닌 딱 사용할때 동작하는 간단한 원리를 정리하였다.
온프레미스로 kubeflow 구축하기
minikube에 Kubeflow 1.4.1을 설치한다.Kubeflow 설치 방식이 버전 1.2까지는 kfctl를 사용하였으나, 1.3부터는 kustomize를 사용한다.✓ kfctl is a CLI for deploying and managing Kubeflow, L
kubeflow 설치하기
저는 kubeflow를 minikube 환경에서 설치하고 사용하겠습니다.minikube를 시작해줍니다. 시작 시 스펙을 어느정도 할당해서 시작하겠습니다.minikube 설치를 했고 실행된 것을 확인했으니 kubeflow를 설치해보겠습니다.kubeflow 설치를 위해 k
