# MinIO
Stream data ingestion with Redpanda
출처DataOps 01: Stream data ingestion with Redpanda관리가 쉬울 뿐만 아니라 플랫폼 구축 비용도 저렴하기 때문에 시스템 관리자의 작업도 덜 어렵다.Redpanda를 10배 더 빠르고 6배 더 저렴하게 만드는 두 가지 주요 기능은Zoo
모델 저장소
모델 저장소: 학습이 완료된 모델을 저장하는 장소 실험 관리+파일: 학습 데이터, 패키지, 파라미터 등을 함께 저장 MLflow 아키텍쳐 Backend Store (Remote host) 수치 데이터와 MLflow 서버의 정보들을 체계적으로 관리하기 위한 DB 저장
데이터 관리
머신러닝을 학습시킬 때의 데이터와 현실에서의 데이터는 차이가 있다.데이터를 학습하는 동안에도 현실의 데이터 분포가 바뀐다.학습한 모델을 서비스하는 동안에도 현실의 데이터 분포가 바뀐다.컨셉 드리프트(Concept Drift)예측 모델이 학습한 대상 변수의 조건부 분포가
Self managed repository and CI #4 - MinIO
Gitlab, Nexus 등을 이용한 CI 환경을 Docker 위에 구성합니다.
Minio(3/3) - 쿠버네티스 위에서 Minio 동작하기(k8s+minio, ClusterIP방식, ingress 사용)
쿠버네티스를 이용해 설치하고 ingress를 이용한 Minio 접근
Minio(2/3) - 쿠버네티스 위에서 Minio 동작하기(k8s+minio, NodePort 방식)
로컬환경에서 쿠버네티스 위에 MiniO를 띄워 console 브라우저에 접근까지 해보는 실습입니다.
minikube kubeflow 내 minio service 포트포워딩
minio-service 상태를 확인해봅시다.minio는 보통 9000번 포트를 사용합니다.minikube service listminio-service의 서비스 타입을 LoadBalancer로 노출해줍니다.이전에 Minikube의 MetalLB addons가 활성화
kubeflow 아티팩트 저장소 minio, s3 자유자재로 변경해서 사용하기
kubeflow pipeline을 구축하다보면 전처리가 되지 않은 원시 데이터 파일을 어딘가에서 받아오거나,원시 데이터 파일을 전처리 후 어딘가에 저장한 후, 훈련에 사용하기 위해 해당 파일을 다시 불러오거나,훈련 후 matrics 및 각종 결과 파일 및 모델을 어딘가
Kubeflow, aws EKS 환경에서의 argo, minio 관련 이슈 해결 방법
안녕하세요, 오늘은 kubeflow에서 파이프라인 구축 중 파이프라인이 작동하지 않는 이슈를 해결하면서 알게 된 해결 방법을 공유해보고자 합니다.일단 aws EKS 클러스터에서 정상적으로 Kubeflow를 설치하셨다는 가정하에 내용을 진행하겠습니다.이슈 내용은 다양하겠
TIL - 19.09.20
4주 프로젝트 DAY4 github 원격 저장소 branch 가져오기 어떻게 AWS-SDK for JavaScript 를 Minio 와 같이 사용할 것인가? 이 프로젝트 전체 데이터 플로우가? 클라이언트에서 서버로 응답받은 Response 어떻게 뜯어? JavsScript Promise 즉시 실행함수 패턴 github 원격 저장소 branch 가져오기 ...