profile
MLOps, MLE 직무로 일하고 있습니다😍
태그 목록
전체보기 (84)kubeflow(14)kubernetes(9)minikube(8)pipeline(6)python(6)ubuntu(5)k8s(5)쿠버네티스(4)issue(4)vagrant(4)Nvidia(3)mac(3)컨테이너(3)MinIO(3)IaaS(2)우분투(2)nfs(2)df(2)인프라(2)virtualbox(2)CLEAN CODE(2)kubespray(2)온프레미스(2)Argo(2)Python SDK(2)Infra(2)aws(2)gpu(2)image(2)kfp(2)git(2)influxDB(2)docker(2)container(2)Jetson Nano(2)push(2)kubectl(2)PromQL(2)jetson ai specialist(1)VRAM(1)importlib(1)Anaconda3(1)DVC(1)production(1)공유기(1)AutoML(1)API(1)sh(1)List(1)driver(1)linux(1)S3(1)loadbalancer(1)쿠버네티스 구성 요소(1)IOMMU(1)multi node(1)메트릭 데이터(1)influx-client(1)젯슨 나노(1)read_pickle(1)Full Monitoring Pipeline(1)network file system(1)통합(1)PVC(1)a5000(1)KFP SDK(1)DockerHub(1)to_pickle(1)tf2(1)project(1)데이터 수집(1)OPS(1)kvm2(1)kustomize(1)Ancible(1)Read(1)language(1)클린 코드(1)docekr(1)데코레이터(1)PV(1)데이터(1)tf1(1)artifact-repositories(1)동적 프로비저닝(1)service(1)pickle(1)bash(1)iris(1)docker search(1)프로메테우스(1)ML(1)class(1)파이썬 클린 코드(1)쿠베플로우(1)DataFreame(1)kubeflow 1.4(1)port forwarding(1)model registry(1)kubeflow 1.2(1)ML pipeline(1)multi instance gpus(1)chrome-remote-desktop(1)query(1)NFD(1)파이프라인(1)Developer kit(1)데이터 추출(1)프로덕션(1)Eager(1)enable_eager_execution(1)그라파나(1)none driver(1)build(1)commit(1)Mac Os(1)putty(1)RAM(1)window(1)자기지도학습(1)개발환경(1)dynamic provisioning(1)tensorflow(1)prometheus(1)operation(1)반대(1)AI(1)custom resource(1)iris data(1)kfctl(1)@property(1)kubelet(1)workflow-controller(1)포트포워딩(1)머신러닝(1)xrandr(1)쿠버 대시보드(1)artifact(1)workflow-controller-configmap(1)iptime(1)monitoring(1)모니터링(1)pull(1)컨테이너 인프라 환경(1)eks(1)python 3.6이상(1)VISION(1)Extendend Resource(1)Grafana(1)kubeflow 1.4.1(1)portforward(1)NodePort(1)우분투 해상도(1)dsl(1)remote(1)Date Version Control(1)논문(1)SDK(1)모니터링 환경(1)pandas(1)데이터 시각화(1)Kubeflow Pipeline(1)엣지 컴퓨팅(1)맥북(1)쿠브플로우(1)JETSON(1)speech(1)vscode(1)마우스(1)시각화(1)chrome(1)맥북프로(1)write(1)certification(1)search(1)운영(1)(1)tag(1)data2vec(1)@Resource(1)katib(1)object(1)18.04(1)MIG(1)Self-supervised(1)번역(1)Kernel(1)pod(1)
post-thumbnail

우분투 크롬 원격 데스크톱 설정, 블랙스크린 해결 방법

안녕하세요!오늘은 서버를 이동시킬 일이 있어서 원격 데스크톱을 설정하려고 합니다.우분투 서버에서 원격 데스크톱을 열어놓고 어디서든 접속하려했는데, mac의 경우 아주 수월하게 진행되나 ubuntu의 경우 몇 가지 수정해줄 부분이 있어서 해결방법을 공유합니다.https&

2022년 7월 28일
·
0개의 댓글
·
post-thumbnail

Kubeflow authservice-0 permission denied 에러 해결

서버를 재시작하면 minikube 클러스터도 멈추어서 재시작을 해주어야 합니다.재시작 후 모든 pod이 다시 정상적으로 올라오나 지켜보고 있었는데 istio-system 네임스페이스에서 authservice-0이 오류가 났습니다.에러 메세지 : 결국 정리해보자면open

2022년 6월 16일
·
0개의 댓글
·

KFP SDK 활용방법 정리

안녕하세요!이번엔 Kubeflow 파이프라인을 개발할 때 자주 사용했던 kfp 모듈에 대해 알아보고자 합니다.SDK라고도 하고, 파이썬 입장에서 보면 패키지이기도 합니다.파이프라인을 컴파일할 때 주로 사용하지만, sdk만으로 파이프라인을 컴파일해서 업로드하고, 리스트를

2022년 6월 15일
·
1개의 댓글
·
post-thumbnail

DVC를 활용해 모델, 데이터의 버전을 관리해보자!(작성중)

안녕하세요!오늘은 DVC(Data Version Control)을 이용해서 ML 파이프라인에 사용되는 데이터와 모델의 레지스트리를 관리하는 방법에 대해 알아보려고 합니다.서버 내에 코드(프로젝트)와 NFS(Network File System) 내에 데이터를 따로 구성해

2022년 6월 7일
·
0개의 댓글
·
post-thumbnail

Window에서 Minikube / Kubeflow 구축하기

안녕하세요, 오늘은 Window os에서 쿠버네티스를 구축하고, Kubeflow가 정상적으로 동작하는지 확인해보려고 합니다.항상 Mac 혹은 Linux Ubuntu 계열의 OS만 사용하다보니, Window로 개발환경을 구축하는게 얼마만인지 모르겠네요.Minikube 구

2022년 5월 23일
·
0개의 댓글
·
post-thumbnail

(임시) K8s Pod과 Docker containers 관계

docker ps | egrep 'CONTAINER|dl-model-20220502-2xz6h5xm-worker-0'ps auxf

2022년 5월 2일
·
0개의 댓글
·

VSCode Tensorflow reload - enable_eager_execution() 관련 이슈 해결

tf.enable_eager_execution() 을 설정했다가, 사용하지 않으려는데 자꾸 eager 관련 에러가 발생해요! 어떻게 커널이나 라이브러리 호출을 초기화시켜야 하나요?

2022년 4월 18일
·
0개의 댓글
·

[에러해결] Cannot convert a symbolic Tensor (strided_slice_1:0) to a numpy array. This error may indicate that you're trying to pass a Tensor to a NumPy call, which is not supported

Cannot convert a symbolic Tensor (strided_slice_1:0) to a numpy array. This error may indicate that you're trying to pass a Tensor to a NumPy call, wh

2022년 4월 15일
·
0개의 댓글
·
post-thumbnail

워크스테이션 CUDA 환경 구축

차후에 진행될 워크스테이션 내 CUDA 환경 구축기를 기록합니다.

2022년 4월 13일
·
0개의 댓글
·
post-thumbnail

minikube kubeflow 내 minio service 포트포워딩

minio-service 상태를 확인해봅시다.minio는 보통 9000번 포트를 사용합니다.minikube service listminio-service의 서비스 타입을 LoadBalancer로 노출해줍니다.이전에 Minikube의 MetalLB addons가 활성화

2022년 4월 1일
·
0개의 댓글
·

[Python] 리스트의 요소로 클래스 넣기

아닛... 이렇게 사용할 일이 없어서 설마 되나 하고 시도해봤는데 되는 게 있더라구요. 거두절미하고 예제 코드부터 보여드리겠습니다.친구에게 리스트 안에 클래스를 넣을 수 있다고 신기해서 말했더니, 원래 배열에 클래스 넣어서 쓰지 않나고 하더라구요..저는 아직도 갈 길

2022년 3월 29일
·
0개의 댓글
·
post-thumbnail

Minikube의 Dynamic Provisioning 이해하기

Minikube는 동적 프로비저닝을 지원하고 있는데, 나는 설정한 적이 없어요! 대체 어떤 기능이 동적 프로비저닝을 돕고 있는거죠? NFS로 프로비저닝 설정을 바꿀 순 없는걸까요?

2022년 3월 27일
·
0개의 댓글
·
post-thumbnail

Minikube NFS 설정하기

오늘은 NFS를 설정해서 Kubeflow Pipeline에서 저장되는 DL model을 호스트에 저장시키는 방법을 알아봅시다!Minikube-Kubeflow로 MLOps를 진행하다보니 몇가지 한계점이 느껴지더군요.PV/PVC를 설정해도 pod 내부(훈련 컨테이너)에서

2022년 3월 25일
·
0개의 댓글
·
post-thumbnail

Kubernetes GPU RAM 분할(Extended Resource 이용)

앞선 두 포스팅 (1), (2)에서 얘기햇듯이, 쿠버네티스에서 리소스를 요청할 때 gpu는 제약사항이 많습니다.그래서 아래와 같은 상황일 때 참고하시라고 GPU RAM을 분할하여 컨테이너에 할당할 수 있는 방법을 함께 진행해보고자 합니다.n개의 컨테이너에 GPU를 공유

2022년 3월 22일
·
0개의 댓글
·
post-thumbnail

Kubernetes MIG(Multi Instance GPUs) 적용하기

Minikube Nvidia GPU 구축하고 파이프라인에 GPU를 활용해보자!포스팅에 이어서 작성합니다.위 포스팅처럼 GPU를 구축하는게 정석이고, 현재 k8s 공식문서에서 지원하는 전부이긴 하지만 포스팅에서 설명했듯 제약사항이 존재합니다.컨테이너간의 GPU 공유가 불

2022년 3월 22일
·
0개의 댓글
·
post-thumbnail

Kubeflow autoML 구축 후기

아직 프로젝트가 끝나지 않았지만, 마무리를 한 달 정도 앞두고 해결해야 할 이슈가 좀 남았지만 파이프라인이 거의 구축이 되어서 후기를 조금씩 남겨볼까 합니다.앞으로 MLOps 프로젝트를 진행하시면서, Kubeflow 이용에 많은 이슈를 겪으실텐데 조금이나마 참고가 되시

2022년 3월 20일
·
0개의 댓글
·
post-thumbnail

[번역] data2vec: A Grneral Framework for Self-supervised Learning in Speech, Vision and Language

data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language

2022년 3월 18일
·
0개의 댓글
·

[KFServing] Invalid argument: NodeDef mentions attr 'allowed_devices' 이슈 해결

위처럼 KFserving에서 모델 서빙 시 tensorflow 오류가 발생하는 경우가 있다.이는 텐서플로 버전이 모델 빌드에 사용하는 버전과 KFServing에서 사용하는 Tensorflow 버전이 다르기 때문에 발생하는 오류이다.가장 좋은 해결 방법은 현재 사용하는

2022년 3월 10일
·
0개의 댓글
·
post-thumbnail

Minikube Nvidia GPU 구축하고 파이프라인에 GPU를 활용해보자!

지금까지는 minikube를 구축할 때 cpu 기반으로 돌아가도록 설정을 해왔습니다.모델을 gpu로 학습시키고 싶어서 방법을 알아보다, minikube를 구축할 때 간단한 gpu 옵션만 넣어주면 될 줄 알았는데 생각보다 복잡한 부분이 있어서 작성합니다.KVM(Kerne

2022년 3월 2일
·
0개의 댓글
·
post-thumbnail

Minikube에 프로메테우스, 그라파나 k8s 모니터링 파이프라인 구축하기

안녕하세요!이번엔 Minikube에 쿠버네티스 리소스 모니터링 환경을 구축해보려고 합니다.이~전 포스팅에서 VirtualVM을 이용해서 구축한 k8s 환경에 모니터링 환경(파이프라인)을 구축한 적이 있는데,실제로 프로젝트에서 사용하고자 하는 Minikube에 프로메테우

2022년 2월 15일
·
1개의 댓글
·