FITS: Modeling Time Series with 10k Parameters / Github
arXiv, 2023 (accepted by ICLR 2024 as Spotlight presentation)
(논문의 주요 내용 위주로 요약하였습니다.)
이 논문은 시계열 분석을 위한 가벼우면서도 강력한 모델인 FITS를 소개.
FITS는 복소수 주파수 영역에서 작동하며, 특히 적은 매개변수(약 1만 개)로 인해 edge device에 적합.
1. FITS Pipeline
forecasting task에서의 FITS 파이프라인:
처음에는 RIN을 사용하여 시계열을 평균이 0이 되도록 정규화하고, rFFT를 사용하여 주파수 영역으로 투영.
LPF 이후에는 복소수 선형 계층이 주파수를 Interpolate.
그 다음, 0 padding과 irFFT를 사용하여 시간 영역으로 다시 되돌림.
마지막으로, iRIN이 정규화를 반전시킴.
1-1. rFFT
Real-to-complex Fast Fourier Transform (rFFT)은 신호 처리 분야에서 사용되는 중요한 기술.
이 기술은 실수(real) 데이터를 복소수(complex) 주파수 영역으로 변환하는 데 사용됨.
간단히 말해서, rFFT는 시간에 따라 변하는 신호를 다양한 주파수가 혼합된 신호로 변환하는 방법.
FFT(Fast Fourier Transform) 자체는 신호를 구성하는 여러 주파수 성분을 분석하기 위해 사용됨.
실제로 대부분의 신호는 여러 주파수의 결합. (예를 들면, 음악은 여러 음표(각각 다른 주파수를 가짐)의 조합)
rFFT는 이러한 FFT 과정을 더 효율적으로 만듦.
일반적인 FFT는 복소수 입력을 사용하지만, 많은 실세계의 신호는 실수 값으로만 이루어져 있음.
rFFT는 이러한 실수 신호에 특화되어 있어, 더 빠르고 효율적인 계산이 가능함.
이는 컴퓨터가 신호를 분석하고 처리하는 속도를 크게 향상시킬 수 있음.
1-2. RIN
Reversible Instance-wise Normalization (RIN)은 데이터의 일관된 처리를 위한 기술.
간단하게 말해서, 이 방법은 데이터 세트의 각 인스턴스(예: 이미지나 사운드 클립)를 개별적으로 정규화함.
(정규화란 데이터를 일정한 범위나 규모로 조정하는 과정)
이렇게 하면 모든 데이터가 비슷한 수준에서 비교 및 처리될 수 있음.
여기서 Reversible이라는 단어가 중요한데, 이는 정규화 과정이 되돌릴 수 있다는 것을 의미함.
즉, 데이터를 원래 상태로 복원할 수 있다는 것.
이 방법은 데이터를 처리하고 분석한 후, 그 데이터의 원래 형태가 필요할 때 유용함.
예를 들어, 이미지를 처리할 때 이 기술을 사용하면, 이미지의 밝기와 대비를 일정하게 조절할 수 있음.
처리 후에는 원래 이미지의 특성을 그대로 복원할 수 있다는 뜻.
이런 특성 때문에 데이터 분석 및 처리에서 iRIN은 매우 유용한 도구로 활용됨.
1-3. Complex-valued Linear Layer
FITS의 핵심은 복소수 선형 계층(complex-valued linear layer)에 있음.
이 계층은 아주 세심하게 설계되어 복소수 주파수 영역(complex frequency domain) 내에서
진폭 크기(amplitude scaling) 조절과 위상 이동(phase shift)을 학습하도록 만들어짐.
간단히 설명하자면, FITS의 이 계층은 복소수 데이터를 다루는 데 특화되어 있음.
복소수 데이터란, 실수부분과 허수부분을 모두 포함하는 수로, 신호처리나 통신 분야에서 널리 사용됨.
이 복소수 선형 계층은 데이터의 진폭(신호의 크기)과 위상(신호의 각도 또는 타이밍)을 조절하는 방법을 배움.
이를 통해, FITS는 복소수 주파수 영역에서 데이터 간의 부드러운 중간 값을 만들어낼 수 있음.
즉, 주어진 데이터 포인트들 사이에 새로운 데이터 포인트를 생성하는 interpolation 작업을 효과적으로 수행할 수 있는 것.
이러한 기능은 예를 들어 음성 신호나 이미지 처리 같은 분야에서 매우 유용하게 활용될 수 있음.
복잡한 신호나 이미지 데이터를 더욱 세밀하게 분석하고 조작할 수 있게 되는 것.
1-4. 0 padding
0 Padding(Zero Padding)은 데이터 처리나 신호 처리에서 자주 사용되는 기술.
말 그대로, 데이터의 시작이나 끝에 '0'을 추가하는 것.
이는 주로 데이터의 길이를 조정하거나, 신호를 분석할 때 필요한 형태로 만들기 위해 사용.
예를 들어, 이미지를 컴퓨터에서 처리할 때 이미지의 크기를 특정한 크기로 맞추기 위해 이미지의 가장자리에 0을 추가하거나, 오디오 신호를 분석할 때 신호의 길이를 특정 길이로 만들기 위해 신호의 끝에 0을 추가하기도 함.
0 padding의 주요 장점은 데이터의 원래 특성을 바꾸지 않으면서도 데이터의 크기를 조정할 수 있다는 것.
이는 푸리에 변환 같은 분석 방법을 사용할 때 특히 중요함.
데이터의 길이를 맞추면, 알고리즘이나 모델이 데이터를 더 쉽고 정확하게 처리할 수 있게 됨.
2. Key Mechanisms
2-1. 복소수 주파수 선형 보간 (Complex Frequency Linear Interpolation)
모델의 출력 길이를 제어하는 것이 목표.
입력 길이 Li에 대한 모델의 출력 길이 L0의 비율을 나타내는 보간율 n(에타)를 도입.
정규화된 복소수 주파수 표현에서 사용하며, 원본 시계열의 절반 길이를 가짐.
결과적으로 원본 신호의 주파수 밴드 1 ~ f가 출력 신호의 주파수 밴드 1 ~ nf로 선형적으로 투영됨.
2-2. 저역 통과 필터 (Low Pass Filter, LPF)
특정 컷오프 주파수(COF) 이상의 주파수 성분을 제거함으로써 모델의 용량을 압축하고 필수 정보를 보존하는 것이 목적.
시계열의 관련 정보를 유지하며, 모델의 학습 능력을 넘어서는 성분을 제거함으로써 주파수 도메인 표현을 더 간결하게 만듦.
2-3. 가중치 공유 (Weight Sharing)
Multivariate task를 처리하면서 성능과 효율성의 균형을 잡는 것이 목적.
동일한 물리적 시스템에서 발생한 channel들이 공통 base frequency(주파수)를 공유하는 경우, 가중치를 공유.
datasets에 base frequency가 다른 channel이 포함되어있는 경우,
base frequency에 따라 channel을 cluster하고 각각의 cluster마다 다른 FITS 모델을 훈련.
3. 결론
FITS는 time series forecasting과 anomaly detection task에서 SOTA 성능을 달성.
FITS모델 파이프라인 각 부분의 자세한 설명은 인용한 논문을 참고하라고 되어 있기에 해당 부분 추가 탐색 필요함.
