멀티모달을 합치는 방법 혹은 데이터를 처리하는 방법에서 지속적으로 나오는 data level에 관해서 정리하자.
"낮은 수준"과 "중간 수준"은 데이터 처리에서 사용되는 특징(데이터의 특성)의 추상화 수준을 나타내는 용어입니다. 이 두 용어는 주로 컴퓨터 비전 및 신호 처리 분야에서 사용되며, 데이터를 다양한 수준의 추상화로 다루는 방식을 나타냅니다.
Low-Level
low-level(낮은 수준)의 특징은 데이터의 세부적이고 구체적인 특성을 나타냅니다. 이러한 특징은 원시 데이터에서 직접 추출되며, 보통 데이터의 각 부분 또는 픽셀 수준에서 나타납니다.
예를 들어, 컴퓨터 비전에서 이미지의 낮은 수준 특징은 픽셀의 색상, 밝기, 엣지(경계), 질감 등과 관련이 있습니다. 오디오 처리에서는 낮은 수준의 특징은 소리의 파형의 진폭, 주파수 성분 등과 관련이 있을 수 있습니다.
Intermediate-Level
intermediate-Level(중간 수준)의 특징은 데이터의 더 고수준의 추상화를 나타냅니다. 이러한 특징은 낮은 수준의 특징을 기반으로 계산되며, 데이터의 일부 구조나 패턴을 나타냅니다.
예를 들어, 컴퓨터 비전에서 중간 수준의 특징은 이미지의 객체나 모양의 경계, 세그멘테이션 마스크, 특정 물체의 모양과 관련이 있습니다. 오디오 처리에서 중간 수준의 특징은 음성의 발음 구조, 음성 인식을 위한 음소나 단어 단위의 정보와 관련이 있을 수 있습니다.
따라서 낮은 수준과 중간 수준의 특징은 데이터의 다른 추상화 수준을 나타내며, 데이터 처리 및 분석에 사용되는 알고리즘 및 모델은 이러한 특징을 활용하여 작업을 수행합니다.
참고
- A PRE-TRAINED AUDIO-VISUAL TRANSFORMER FOR EMOTION RECOGNITION 논문에서 METHOD
