Abstract

• Real-world에서 시계열은 복잡한 Temporal-dynamics를 가지며, 이로 인해 이상 탐지에 어려움이 발생함에 따라 Temporal Hierarchical One-class network를 제안한다. 제안 모델은 Skip-connection을 도입한 Dilated RNN을 사용하여 다양한 scale에서 Temporal-dynamics을 포착한다. Hierachical clustering process로 얻은 여러 Clustering boundary을 사용하여 Multiscale Vector Data Description을 정의하고, 이를 통해 Temporal dynamics을 잘 포착하도록 한다.

Introduction

• 실제 Time-series는 Nonlinear temporal dependency가 높고 변수 간의 복잡한 상호 작용을 갖는다. 게다가 Anomalies는 드물게 발생하기 때문에 Time-series anomaly detection은 일반적으로 Unsupervised learning으로 진행된다. 이를 위한 모델로 One-class classification 기반 모델이 인기를 끌고 있다. 해당 모델은 대부분의 훈련 데이터가 정상이라고 가정함으로써 모델에 의해 그 특성이 포착되고 학습된다는 아이디어이다. 학습이 완료된 후, 판단해야 할 관측치가 모형에 의해 잘 적합되지 않을 때 해당 관측치를 이상치로 판별한다. 그러나 일반적인 패턴을 충분히 포착할 수 있을만큼 데이터가 풍부한 시나리오에 한정된다는 단점이 있다.
• Deep Support Vector Data Description은 Kernel-induced feature space을 Deep network를 통해 학습된 feature space로 대체한다.
• 본 논문에서는 SVDD에서 영감을 받아 Temporal Hierarchical One-class network을 제안한다. 이는 Skip-connection을 추가한 Dilated RNN을 사용하여 Multi-scale temporal feature을 추출하고, Multiscale support vector data description을 통해 이상치를 탐지한다.

Temporal Hierarchical One-class Network

Multiscale Tmeporal Features

• Multiscale temporal feature을 추출하기 위해 Layer를 거치면서 더욱 이전 시점의 feature을 반영할 수 있도록 설계한 Dilated RNN을 사용한다. 각 Dilated RNN layer마다 다른 Skip length을 가지며, 해당 length는 지수적으로 증가한다. 낮은 단계의 layer에서는 이전 시점의 feature을 모두 반영하면서 feature을 추출하게되고 layer가 증가할수록 이전 시점의 정보가 생략된 상태의 feature가 추출된다. 이러한 작업의 결과로 풍부한 Multiscale temporal feature을 추출할 수 있게된다.

Fusing the Multiscale Features

• Dilated RNN의 마지막 layer에서 나온 feature만을 학습에 사용하는 것이 아니라 다양한 scale로 추출된 feature을 계측적으로 반영한다. l번째 layer에서 추출된 feature는 l번째 Clustering boundary의 반지름을 최소화하는 방향으로 학습이 진행되며, 다음 계층으로 넘어갈 때 l+1번째 layer에서 추출된 feature와 Concatenation을 진행한다.

Step 1 (Assignment)

• l번째 layer에서 추출된 feature가 l번째 Clustering boudary 집합 내에서 어느 boundary에 속할지에 대한 확률을 계산한다. 이때, Similarity score를 계산하게 되는데 Cosine seimilarity 식을 사용한다.

Step 2 (Update)

• 다음 계층에 쓰일 feature를 업데이트하는 과정이다. 이때, Step 1에서 사용된 feature에 Transformation을 가한 뒤, 계산된 해당 Cluster에 속할 확률을 곱하는 방식으로 업데이트가 수행된다. 업데이트된 feature는 그대로 다음 계층의 feature로 사용되지않고 다음 Dilated RNN layer에서 추출된 feature와 Concatenation을 진행한 뒤, MLP까지 거친다.

Multiscale Support Vector Data Description(MVDD)

• Fusing까지 수행한 THOC network의 최종 feature를 사용하여 해당 feature와 해당 layer에서 정의된 Center와의 거리를 최소화하도록 모델이 학습된다. 결과적으로 해당 feature가 속할 확률이 가장 높은 Hypershere의 반지름을 최소화하는 방향으로 학습이 진행된다.

Experiments

• 제안한 THOC network가 모든 Datasets에서 가장 높은 성능을 도출하는 것을 통해 해당 모델이 Complex temporal dynamics을 잘 잡아낸다고 말할 수 있다.

• 다변량 시계열 이상치 탐지 Task에서 자주 사용되는 MSL과 SMAP Dataset에서도 기존 방법론들보다 높은 성능을 도출하는 것을 알 수 있다.

Conclusions

• 본 논문에서는 Time-series Anomaly detection을 위한 Temporal Hierarchical One-class network을 제안하였다. 풍부한 Feature을 학습에 사용할 수 있도록 Dilated RNN구조를 도입하였으며 NLP에서 주로 사용되는 Self-supervision loss항을 도입하여 Time series의 Representation을 더욱 잘 학습하도록 하였다는 특징이 있는 모델이다. 또한, 성능 비교를 통해 기존 모델의 이상탐지 성능을 뛰어넘는 성능을 가지고 있는 것을 확인할 수 있다.