[DL] Anomaly detection

주제

• CCTV 영상 데이터를 이용한 이상 행동 탐지 시스템

Dataset

• UCF_Anomaly Detection Dataset
  (출처: https://www.crcv.ucf.edu/projects/real-world)

진행 상황

📝 1. MediaPipe(Google AI Framework)

• Pose landmarker model: 33 body landmark locations

  

  이미지 출처: https://developers.google.com/mediapipe/api/solutions

• 목표
  body landmark의 x,y,z 좌표를 추출하여 이상 행동일 경우 1로,
  정상 행동일 경우 0으로 라벨링 후 LSTM 모델 설계

• 실행
  이상 행동 비디오 1개로 랜드마크 좌표가 잘 나오는지 테스트 했다.

• 문제점
  CCTV에서 멀리 있는 사람을 제대로 인식하지 못했다.
  정확하지 않은 랜드마크 좌표가 너무 많이 추출됐다.

📝 2. GLUON

• 출처: GLUON Tutorials

• 목표
  pre-trained된 I3D 모델 fine tuning, feature extraction 진행 후
  anomaly detection 모델 학습

• 모델: pre-trained I3D Models on Kinetics400

• 실행
  ① Fine-tuning SOTA video models
  Custom DataLoader: train.txt, val.txt 생성
  configuration file 에서 TRAIN_ANNO_PATH, VAL_ANNO_PATH, TRAIN_DATA_PATH, VAL_DATA_PATH, NUM_CLASSES 수정

  ② Extracting video features from pre-trained models
  video.txt 생성 후 extracting feature

	!python feat_extract_pytorch.py --config-file ./scripts/action-recognition/configuration/i3d_resnet50_v1_feat.yaml

• 문제점
  train data feature 말고 validation data에 대한 feature만 추출이 됐다.

계획

• feature extraction 다시 시도하기
• 모델 학습시키기(성능이 낮아도 모델 구현 하는게 목표)