Unity Barracuda 적용 사례 정리 (튜토리얼 수준)

Jiwon Kang·2023년 3월 10일
0

Unity Barracuda

목록 보기
1/2
  • 3D 모델링 친구랑 오랜만에 만나서 얘기하다가 유니티로 뭐 재밌는 거 있으면 해보자고 얘기나 온 김에 정리한 포스트.

  • 유니티에는 바라쿠다라는 AI 모델 돌리게 해주는 패키지가 있는데 이걸 사용하기 위한 튜토리얼 수준의 프로젝트를 정리해본다

  • 참고로 유니티 바라쿠다는 ONNX 기반의 모델을 사용하는데, 이건 딥러닝 프레임워크에 상관없이 모델이 돌아갈 수 있도록 도와주는 프레임워크의 일종

NNCam

HandPoseBarracuda

HandPoseBarracuda

Waifu2xBarracuda

  • 이미지 업스케일링을 위한 프로젝트
  • 이걸 왜 유니티에서 해야하는 의문이 생겼는데 리소스 많이 차지하는 텍스쳐를 이를 활용해서 좀 더 가볍게 만드는 데 쓸 수 있다는 듯?
  • 깃허브 프로젝트 링크: https://github.com/keijiro/Waifu2xBarracuda

Waifu2xBarracuda

In-Game Style Transfer Tutorial Leveraging Unity

MNIST with Baraacuda

  • MNIST 분류 모델 가져와서 숫자 맞추기 캐치 마인드 같은 거 만드는 튜토리얼
  • 유튜브 강의: https://youtu.be/ggmArUbRvC4

Inference BERT NLP with C# ONNXRuntime

  • 와우 드디어 찾은 NLP 계열 모델
  • QnA 시스템에 활용한다 (질문이 들어오면 BERT를 통해 답변을 생성하는 활용)
  • 유튜브 강의: https://youtu.be/7gDrt-SQZc8

글을 마치며

  • 주로 시각적 인터렉티브에 초점이 맞춰진 탓인지 컴퓨터 비전 모델 올려둔 모델이 대부분, 예를 들어 얼굴 인식, 포즈 인식이 제일 흔한 활용이었다
  • 일단 컴퓨터 비전 쪽 튜토리얼 따라가면서 바라쿠다 적응해보고, NLP 모델로 넘어가는 게 좋겠다 (여기는 참고자료가 별로 없어서 거의 맨땅에 헤딩하기 같은 느낌?)
profile
도파민 중독

2개의 댓글

comment-user-thumbnail
2023년 5월 23일

공유 감사드립니다. 개념잡는데 많은 도움이 되었습니다~

1개의 답글