[졸업프로젝트] 비언어/언어 소리 분리 모델

krkorklo·2022년 1월 25일
0

졸업프로젝트

목록 보기
4/7

Spleeter

흔히들 아는 mr제거 모델이라고 볼 수 있다.
사용법은 매우 쉬움! 설치만 하면 된다.

pip install spleeter

spleeter separate -p spleeter:2stems -o output audio.wav

pip 명령어로 spleeter를 설치하고 아래 명령어를 실행해주면 audio.wav 파일을 찾아서 mr 제거를 진행한다.

나는 2stems를 입력해줬기 때문에 output 폴더에 두 개의 파일, 즉 비언어 소리 파일인 accompaniment.wav 파일과 언어 소리 파일인 vocal.wav 파일이 생성된다.

생각보다 깔끔하게 분리가 되는 것 같다.

❗️적용 중 문제

STT 모델 성능

vocal.wav 파일로 stt 모델 돌려보니까 성능이 조금 더 떨어지는 것 같다.. stt 모델에는 아무래도 원본 파일을 넣는게 좋을 것 같다.

비언어 소리 분류 모델의 입력값은?

비언어 소리 분류 모델에는 accompaniment.wav 파일 그대로 넣어서 하면 좋을듯!
근데 한번에 입력하면 하나의 출력값만 나올텐데..
그러면 안되는데..

소리에 따라서 accompaniment.wav 파일을 잘라서 입력해줘야 될 것 같다.

진폭에 따라서 자르는게 좋을까..?
고민...

0개의 댓글