# mlops

151개의 포스트
post-thumbnail

[Hadoop] Hdfs API를 사용하여 데이터 Upload & Download

Client -> Django -> S3, Spark -> S3유저가 업로드한 비디오 파일 & Spark에서 이미지 압축 파일를 S3로 전달 > Hdfs로 전달수정 이유S3 비용프레임마다 자른 img 압축 파일과 비디오 파일은 사용 빈도가 적음비디오 파일 및 img 압

3일 전
·
0개의 댓글
post-thumbnail

[MLOps] Multi-Model 서빙을 위한 RedisAI Cluster 구축하기 2편 - How to build RedisAI Cluster?

지난 글에서 RedisAI가 무엇인지 그리고 RedisAI와 FastAPI를 활용한 간단한 추론 서버를 구성해보았습니다. 하지만 운영환경에서 언제 늘어날지 모를(정말 언제 늘어날지 모른다고 한다..🥹) 트래픽을 감당하기 위해서는 확장성을 고려한 스케일 인/아웃이 가능

3일 전
·
0개의 댓글

[.Net] .Net 무시 파일 설정(.gitignore)

Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함팀 탐색기 열기리포지토리 설정파일 무시 추가 및 편집무시해야할 파일 적혀 있는 곳 : URL파일 및 디렉토리

4일 전
·
0개의 댓글

[S3] .Net으로 Upload & Download 개발

Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함패키지 관리자 콘솔 열기AWS S3 Dotnet API 설치Install-Package AWSSDK.s3.Ne

4일 전
·
0개의 댓글
post-thumbnail

[Kafka] .Net으로 Consumer 개발

개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과

4일 전
·
0개의 댓글

[Kafka & S3] Producer & Upload

Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity

4일 전
·
0개의 댓글
post-thumbnail

[Spark] .mp4 파일 이미지 파일로 변환(OpenCV)

개요 S3 -> Kafka -> Spark S3로부터 mp4 파일을 다운로드 받는 코드 & Kafka-python API를 사용하여 Python Consumer 개발 예정 Install 코드 Spark(Python) 결과 이미지를 한프레임마다 나누어서 저장됨 동영

4일 전
·
0개의 댓글
post-thumbnail

[Kafka] 하나의 토픽의 여러 Consumer 설정

Django -> S3 -> KafkaKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Spark를 사용한 이유는 병렬 분산처리를 하여 빠르고, 효율적으로 사

4일 전
·
0개의 댓글
post-thumbnail

[Kafka] Consumer(Kafka-Spark)

S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker

4일 전
·
0개의 댓글
post-thumbnail

[Kafka] Producer(Django-Kafka)

개요 Django -> S3 -> Kafka S3 mp4디렉토리에 비디오 파일이 저장되었을 때, Kafka로 메세지 큐(MQ) 전달 Kafka-python API를 사용하여 Python Producer 개발 예정 Install 코드 ./board/views.py

4일 전
·
0개의 댓글
post-thumbnail

[Django] Django-environ 라이브러리를 활용하여 SECRET_KEY 숨기기

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting .gitignore은 디렉토리 or 파일을 숨길 수 있지만, 코드의 부분적인 부분을 숨길 수 없음 함수를 사용하는 것처럼 private 해야할 코드가 있음 해결방안 Django-environ 라이브러리를 사용하여 ...

4일 전
·
0개의 댓글
post-thumbnail

[Git] github에 중요한 데이터 올라가지 않게 하기(.gitignore)

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 내가 지금까지 migration한 내용들이 github에 올라감 migration한 내용들이 올라가면 보안에 취약함 해결방안 gitignore파일을 사용하여 github에 올리지 말아야할 파일들을 선택함 Se...

5일 전
·
0개의 댓글

[Git] 프로젝트에 자식 레파지토리 remote(github의 Repositories 부모 자식 나누기)

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 레파지토리 Django를 부모 레파지토리를 했을 때, Platform 디렉토리도 같이 pull될 수 있음 > 메모리 남용 Jenkins에서 CI/CD할 때, 플랫폼의 내용을 변경할 때마다 계속 배포가 되는 모...

5일 전
·
0개의 댓글
post-thumbnail

[Django & S3] Django & S3 연동2

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting github에서 CI/CD를 해야하는데 accesskeyID, secretaccesskey가 보임 해결방안 github를 c

5일 전
·
0개의 댓글
post-thumbnail

[Django & S3] Django & S3 연동

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 Install aws 연동 API Code ./board/views.py local에 저장된 mp4 파일을 s3로 전달 mp4 디렉토리에 저장 결과 AWS S3 Bucket 이름이 변경된 mp4 파일이 저장된 모습을 확인할 수 있음 ...

5일 전
·
0개의 댓글
post-thumbnail

[AWS S3] S3 버켓 생성

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 과정 AWS 아이디 생성 준비물 : 해외 사용 가능한 카드, 핸드폰 서비스 S3 시작 S3 일반 구성 ![](https://velog.velcdn.com/images/spamdong/post/aa2cae5c-4

5일 전
·
0개의 댓글
post-thumbnail

[Django] .mp4 형식의 파일만 들어가게 바꾸기

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 잘못된 형식이라고 알려주는 서비스가 필요함 Troubleshooting .mp4 형식 이외의 파일을 보냈을 때, 들어가는 모습이 확인됨 해결방안 잘못된 형식이라고 알려주는 서비스가 필요함 Code ./board/views.py 로컬에 비디오 파일을 저장할 때, ...

5일 전
·
0개의 댓글
post-thumbnail

8. Data Management

6일 전
·
0개의 댓글
post-thumbnail

[MLOps] Multi-Model 서빙을 위한 RedisAI Cluster 구축하기 1편 - What is RedisAI ?

최근 팀에서 자체 NLU 모델을 개발하며 Multi-model Serving에 대한 수요가 생겨났습니다. 각 고객(에이전트)마다

6일 전
·
0개의 댓글
post-thumbnail

Knative 분석

서버리스 워크로드를 빌드, 배포, 관리하기 위한 K8s 기반 플랫폼

6일 전
·
0개의 댓글