# mlops
[Hadoop] Hdfs API를 사용하여 데이터 Upload & Download
Client -> Django -> S3, Spark -> S3유저가 업로드한 비디오 파일 & Spark에서 이미지 압축 파일를 S3로 전달 > Hdfs로 전달수정 이유S3 비용프레임마다 자른 img 압축 파일과 비디오 파일은 사용 빈도가 적음비디오 파일 및 img 압
.jpeg)
[MLOps] Multi-Model 서빙을 위한 RedisAI Cluster 구축하기 2편 - How to build RedisAI Cluster?
지난 글에서 RedisAI가 무엇인지 그리고 RedisAI와 FastAPI를 활용한 간단한 추론 서버를 구성해보았습니다. 하지만 운영환경에서 언제 늘어날지 모를(정말 언제 늘어날지 모른다고 한다..🥹) 트래픽을 감당하기 위해서는 확장성을 고려한 스케일 인/아웃이 가능
[.Net] .Net 무시 파일 설정(.gitignore)
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함팀 탐색기 열기리포지토리 설정파일 무시 추가 및 편집무시해야할 파일 적혀 있는 곳 : URL파일 및 디렉토리
[S3] .Net으로 Upload & Download 개발
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함패키지 관리자 콘솔 열기AWS S3 Dotnet API 설치Install-Package AWSSDK.s3.Ne
[Kafka] .Net으로 Consumer 개발
개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과
[Kafka & S3] Producer & Upload
Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity
[Spark] .mp4 파일 이미지 파일로 변환(OpenCV)
개요 S3 -> Kafka -> Spark S3로부터 mp4 파일을 다운로드 받는 코드 & Kafka-python API를 사용하여 Python Consumer 개발 예정 Install 코드 Spark(Python) 결과 이미지를 한프레임마다 나누어서 저장됨 동영
[Kafka] 하나의 토픽의 여러 Consumer 설정
Django -> S3 -> KafkaKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Spark를 사용한 이유는 병렬 분산처리를 하여 빠르고, 효율적으로 사
[Kafka] Consumer(Kafka-Spark)
S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker
[Kafka] Producer(Django-Kafka)
개요 Django -> S3 -> Kafka S3 mp4디렉토리에 비디오 파일이 저장되었을 때, Kafka로 메세지 큐(MQ) 전달 Kafka-python API를 사용하여 Python Producer 개발 예정 Install 코드 ./board/views.py
[Django] Django-environ 라이브러리를 활용하여 SECRET_KEY 숨기기
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting .gitignore은 디렉토리 or 파일을 숨길 수 있지만, 코드의 부분적인 부분을 숨길 수 없음 함수를 사용하는 것처럼 private 해야할 코드가 있음 해결방안 Django-environ 라이브러리를 사용하여 ...
[Git] github에 중요한 데이터 올라가지 않게 하기(.gitignore)
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 내가 지금까지 migration한 내용들이 github에 올라감 migration한 내용들이 올라가면 보안에 취약함 해결방안 gitignore파일을 사용하여 github에 올리지 말아야할 파일들을 선택함 Se...
[Git] 프로젝트에 자식 레파지토리 remote(github의 Repositories 부모 자식 나누기)
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 레파지토리 Django를 부모 레파지토리를 했을 때, Platform 디렉토리도 같이 pull될 수 있음 > 메모리 남용 Jenkins에서 CI/CD할 때, 플랫폼의 내용을 변경할 때마다 계속 배포가 되는 모...
[Django & S3] Django & S3 연동2
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting github에서 CI/CD를 해야하는데 accesskeyID, secretaccesskey가 보임 해결방안 github를 c
[Django & S3] Django & S3 연동
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 Install aws 연동 API Code ./board/views.py local에 저장된 mp4 파일을 s3로 전달 mp4 디렉토리에 저장 결과 AWS S3 Bucket 이름이 변경된 mp4 파일이 저장된 모습을 확인할 수 있음 ...
[AWS S3] S3 버켓 생성
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 과정 AWS 아이디 생성 준비물 : 해외 사용 가능한 카드, 핸드폰 서비스 S3 시작 S3 일반 구성 
[Django] .mp4 형식의 파일만 들어가게 바꾸기
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 잘못된 형식이라고 알려주는 서비스가 필요함 Troubleshooting .mp4 형식 이외의 파일을 보냈을 때, 들어가는 모습이 확인됨 해결방안 잘못된 형식이라고 알려주는 서비스가 필요함 Code ./board/views.py 로컬에 비디오 파일을 저장할 때, ...
[MLOps] Multi-Model 서빙을 위한 RedisAI Cluster 구축하기 1편 - What is RedisAI ?
최근 팀에서 자체 NLU 모델을 개발하며 Multi-model Serving에 대한 수요가 생겨났습니다. 각 고객(에이전트)마다
