MLOps 프로젝트
1.지속가능한 AI 서비스를 위한 개발자용 MLOPS 플랫폼
개요 해당 프로젝트는 실제 사람의 걷는 영상으로부터 OpenPose 알고리즘을 통해 관절의 움직임을 프레임단위로 추적하고, Unity 환경에서의 모방학습을 거쳐 실제 사람의 거동과 유사한 움직임을 보이는 Walker를 구현하는 것을 목표로 함 사람의 걷는 움직임은 각
2.[Django] Video File 업로드하는 Web Service
개요 Client -> Django -> S3 클라이언트가 이용할 Web Service가 필요함 따라서 Web Service 구축이 필요함 제한사항 Video File을 전달할 Web Service 제공 Video File이 잘 전달 되었는지 사용자가 확인할 수 있는 Set UP Frontend 아래의 무료 템플릿을 사용함 
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 잘못된 형식이라고 알려주는 서비스가 필요함 Troubleshooting .mp4 형식 이외의 파일을 보냈을 때, 들어가는 모습이 확인됨 해결방안 잘못된 형식이라고 알려주는 서비스가 필요함 Code ./board/views.py 로컬에 비디오 파일을 저장할 때, ...
4.[AWS S3] S3 버켓 생성
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 과정 AWS 아이디 생성 준비물 : 해외 사용 가능한 카드, 핸드폰 서비스 S3 시작 S3 일반 구성 
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 Install aws 연동 API Code ./board/views.py local에 저장된 mp4 파일을 s3로 전달 mp4 디렉토리에 저장 결과 AWS S3 Bucket 이름이 변경된 mp4 파일이 저장된 모습을 확인할 수 있음 ...
6.[Django & S3] Django & S3 연동2
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting github에서 CI/CD를 해야하는데 accesskeyID, secretaccesskey가 보임 해결방안 github를 c
7.[Git] 프로젝트에 자식 레파지토리 remote(github의 Repositories 부모 자식 나누기)
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 레파지토리 Django를 부모 레파지토리를 했을 때, Platform 디렉토리도 같이 pull될 수 있음 > 메모리 남용 Jenkins에서 CI/CD할 때, 플랫폼의 내용을 변경할 때마다 계속 배포가 되는 모...
8.[Git] github에 중요한 데이터 올라가지 않게 하기(.gitignore)
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 내가 지금까지 migration한 내용들이 github에 올라감 migration한 내용들이 올라가면 보안에 취약함 해결방안 gitignore파일을 사용하여 github에 올리지 말아야할 파일들을 선택함 Se...
9.[Django] Django-environ 라이브러리를 활용하여 SECRET_KEY 숨기기
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting .gitignore은 디렉토리 or 파일을 숨길 수 있지만, 코드의 부분적인 부분을 숨길 수 없음 함수를 사용하는 것처럼 private 해야할 코드가 있음 해결방안 Django-environ 라이브러리를 사용하여 ...
10.[Kafka] Producer(Django-Kafka)
개요 Django -> S3 -> Kafka S3 mp4디렉토리에 비디오 파일이 저장되었을 때, Kafka로 메세지 큐(MQ) 전달 Kafka-python API를 사용하여 Python Producer 개발 예정 Install 코드 ./board/views.py
11.[Kafka] Consumer(Kafka-Spark)
S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker
12.[Kafka] 하나의 토픽의 여러 Consumer 설정
Django -> S3 -> KafkaKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Spark를 사용한 이유는 병렬 분산처리를 하여 빠르고, 효율적으로 사
13.[Spark] .mp4 파일 이미지 파일로 변환(OpenCV)
개요 S3 -> Kafka -> Spark S3로부터 mp4 파일을 다운로드 받는 코드 & Kafka-python API를 사용하여 Python Consumer 개발 예정 Install 코드 Spark(Python) 결과 이미지를 한프레임마다 나누어서 저장됨 동영
14.[Kafka & S3] Producer & Upload
Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity
15.[Kafka] .Net으로 Consumer 개발
개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과
16.[S3] .Net으로 Upload & Download 개발
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함패키지 관리자 콘솔 열기AWS S3 Dotnet API 설치Install-Package AWSSDK.s3.Ne
17.[.Net] .Net 무시 파일 설정(.gitignore)
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함팀 탐색기 열기리포지토리 설정파일 무시 추가 및 편집무시해야할 파일 적혀 있는 곳 : URL파일 및 디렉토리
18.[Hadoop] Hdfs API를 사용하여 데이터 Upload & Download
Client -> Django -> S3, Spark -> S3유저가 업로드한 비디오 파일 & Spark에서 이미지 압축 파일를 S3로 전달 > Hdfs로 전달수정 이유S3 비용프레임마다 자른 img 압축 파일과 비디오 파일은 사용 빈도가 적음비디오 파일 및 img 압