# Time Series

cwoo505

11.4 시간대 다루기 시간대를 처리하는 일은 시계열을 다루는 작업 중에서 가장 음... 까다롭다. 11.4.1 시간대 지역화와 변환 기본적으로 pandas에서 시계열은 시간대를 엄격히 다루지 않는다. 다음 시계열을 살펴보자. 색인의 tz 필드는 None이다. 시간대를 지정해서 날짜 범위를 생성할 수 있다. 지역화 시간으로의 변환은 tz_localize 메서드로 처리할 수 있다. 시계열이 특정 시간대로 지역화되고 나면 tz_convert를 이용해서 다른 시간대로 변환 가능하다. 위 시계열의 경우에는 America/New_York 시간대에서 일광절약시간을 사용하고 있는데, 동부표준시(EST)로 맞춘 다음 UTC 혹은 베를린 시간으로 변환할 수 있다. 11.4.2 시간대를 고려해서 Timestamp 객체 다루기 시계열이나 날짜 범위와 비슷하게 개별 Timstamp 객체도 시간대를 고려한 형태로 변환이 가능하다. Timestamp 객체를 생

cwoo505

11.3 날짜 범위, 오프셋, 시프트 pandas에서 일반적인 시계열은 불규칙적인 것으로 간주된다. 즉, 고정된 빈도를 갖지 않는다. 하지만, 시계열 안에 누락된 값이 발생할지라도 고정 빈도에서 작업이 요구되는 경우도 있다. pandas는 이런 곤란한 상황에 사용할 수 있는 리샘플링, 표준 시계열 빈도 모음, 빈도 추론, 빈도의 날짜 범위를 위한 도구가 있다. 11.3.1 날짜 범위 생성하기 이전에 설명 없이 사용했지만 pandas.date_range 함수를 사용하면 특정 빈도에 따라 지정한 길이만큼의 DatetimeIndex를 생성한다는 사실을 눈치 챘을 것이다. 만약 시작 날짜나 종료 날짜만 넘긴다면 period 옵션을 반드시 넘겨줘야 하고, 시작 날짜와 종료 날짜를 넘겼어도 period 옵션을 사용하면 그 기간의 나눗셈을 계산해준다. date_range는 기본적으로 시작 시간이나 종료 시간의 타임스탬프를 존재한다면 보존한다. 만약 시

cwoo505

About 시계열 시계열 데이터는 다양한 분야에서 사용되는 매우 중요한 데이터다. 시간 상의 여러 지점을 관측하거나 측정할 수 있는 모든 것이 시계열이다. 대부분의 시계열은 고정 빈도로 표현되는데 데이터가 존재하는 지점이 특정 규칙에 따라 고정 간격을 가지게된다. 이와 다르게, 시계열은 고정된 단위나 간격 간에 존재하지 않고, 불규칙적인 형태로 표현될 수도 있다. 어떻게 시계열 데이터를 표시하고 참조할지는 애플리케이션에 의존적이며 크게 3가지 유형이 있다. >1) 시간 내에서 특정 순간의 타임스탬프 2) 2007년 1월 or 2010년 전체 같은 고정된 기간 3)시작과 끝 타임스탬프로 표시되는 시간의 간격 pandas's time series pandas는 표준 시계열 도구와 데이터 알고리즘을 제공한다. 이를 통해 대량의 시계열 데이터를 효과적으로 다룰 수 있으며 쉽게 나누고, 집계하고, 불규칙적이며 고정된 빈도를 갖는

ha_yoonji99

📌 본 내용은 논문 입문자가 개인적으로 필기한 내용입니다. 내용에 오류나 피드백이 있으면 말씀해주시면 감사히 반영하겠습니다.📌 😊 개인 기록용 포스트입니다 0. Abstract LTSF해결위한 Transformer based 해결책의 급증 Transformer는 의미론적인 상관관계를 잘 해결함 순서가 있는 연속적인 point에서 시간적 관계추출해야됨 Transformer에서 encoding, token이용하면서 정보를 순서대로 놓아도, self attention매커니즘의 순서가 변하지 않는 것은 일시적 정보손실을 반드시 낳는다 LTSF-Linear가 기존의 정교한 Transformer-based LTSF 를 넘어서 좋은 성능 보여줌 1. Introduction 시계열 시계열 문제는 data기반 세계에 만연함 시계열 문제 해결 변천사 : 머신러닝 → 딥러닝 Transf

ha_yoonji99

📌 본 내용은 논문 입문자가 개인적으로 필기한 내용입니다. 내용에 오류나 피드백이 있으면 말씀해주시면 감사히 반영하겠습니다.📌 😊 개인 기록용 포스트입니다 1. Introduction >- SIV(희소하지만 정보를 제공)의 효과적 활용 위해, 이 논문의 독자적인 접근방식이 rMSE면에서 기준선 접근방식보다 뛰어남 SIV가 손상되면 논문의 독자적 접근방식도 성능 낮아질것 결론*) 논문의 접근방식은 예측에서 SIV를 더 효과적 사용가능 >내재+외재 = 예측정확도 향상 >But 혈당과 같은 생리학적 변수의 예측에서는 내재+외재에서 예측 정확도가 향상되는 경우 없을수있음 >- 보조신호와 대상 신호간의 비제로값이 상대적 불일치 때문 보조신호(외재)가 대상 신호(내재)에 영향 미치는데 매우 희소( 희소하지만 정보를 제공하는 변수(SIV) =⇒ 희소성에도 불구하고 SIV를 활용하여 전반적인 예측 개선 >SIV문제 언제 발생) 부가변수가 시간에 따라

ha_yoonji99

📌 본 내용은 논문 입문자가 개인적으로 필기한 내용입니다. 내용에 오류나 피드백이 있으면 말씀해주시면 감사히 반영하겠습니다.📌 😅 이번 리뷰는 손필기로 대체합니다 😊 개인 기록용 포스트입니다 ![](https://velog.velcdn.com/images/ha_yoonji99/post/79785002-0fb5-4f56-8d9b-0

ha_yoonji99

📌 본 내용은 논문 입문자가 개인적으로 필기한 내용입니다. 내용에 오류나 피드백이 있으면 말씀해주시면 감사히 반영하겠습니다.📌 😅 이번 리뷰는 손필기로 대체합니다 😊 개인 기록용 포스트입니다 ![](https://velog.velcdn.com/images/ha_yoonji99/post/e76b1e50-3b9f-4513-b19a-

jpseo99

1. Heteroscedasticity와 Homoscedasticity Heteroscedasticity와 Homoscedasticity 잔차의 분산 또는 퍼짐에 대한 특성을 설명합니다. 특히 잔차의 Homoscedasticity는 회귀 분석의 중요한 가정 중 하나입니다. Heteroscedasticity 예측 변수의 값이 변함에 따라 잔차의 분포가 변하게 됩니다. Heteroscedasticity의 존재는 회귀 분석의 가정 중 하나인 공분산 동질성을 위반하는 것으로, 일반적인 MSE 회귀 분석에서 문제가 발생할 수 있습니다. Homoscedasticity 잔차의 분산이 일정하고, 잔차의 분포가 일정한 것을 이야기합니다. Homoscedasticity 가정이 충족되면, 회귀 계수의 추정치가 효율적이고 편향되지 않으며, 계수들의 표준 오차도 신뢰할 수 있어, 통계적 추론이 유효하게 됩니다. ![](https://velog.velcdn.com/imag

castlechoi

연구기간 02/2023 ~ 07/2023 연구 목적 M4 Dataset에 대해서 SOTA를 달성하는 Self-Supervised learning model의 구현 모델 구조 TF-C TF-C : Paper Link 논문 리뷰 : https://velog.io/@castlechoi/TF-C N-BEATS N-BEATS : Paper Link 데이터 M4 Dataset N-BEATS backbone 적용 전에는 Many

castlechoi

Self-Supervised Constrastive Pre-Training for Time Series via Time-Frequency Consistency 논문 링크 : https://arxiv.org/pdf/2206.08496.pdf Github : https://github.com/mims-harvard/TFC-pretraining Posted : 10 / 22 ( NeurIPS 2022 ) Abstract 시계열 데이터에서의 Pre-training은 target 도메인과의 mismatch될 가능성이 존재하고 이를 해결하기 위해서 TF-C time/frequency로 분리가능한 모델 제안 Constrastive learning을 통해서 train을 진행하고 8개의 데이터셋에서 실험을 진행 실험의 결과로 성능은 F1 Score 기준으로 one-to-one setting에서는 15.4%, one-to-many setting에서는 8.4%의 성능향상을

hersheythings

Reference 충북대학교 강의자료 https://www.analyticsvidhya.com/blog/2015/12/complete-tutorial-time-series-modeling/ https://blog.naver.com/chunjein/100173242445 시계열 데이터 분석(Time Series Data Analysis) 0. 시계열 데이터의 정의 > 시간의 흐름에 따라 관찰된 데이터(초, 분, 시간, 일, 주, 월, 분기, 년 등의 구간) 1. 시계열 분석 개요 시계열 자료의 관측

devjo

Anomaly Detection for IOT Time-Series Data: A Survey 위 링크를 클릭하시면 논문원본을 보실 수 있습니다. -Introduction Anomaly Detection은 데이터 내의 예기치 않은 관측치 또는 시퀀스의 식별을 포함하며 현재 사용되는 기법들은 대부분 개별 도메인 지식에 지배적이라고 할 수밖에 없다. 이에 Internet of Things(이하 IOT라 지칭)는 sensor, actuator, computer 등을 통해 관측하며 관리자로 하여금 이상치 또는 정상치 해석을 유도하며 도메인 지식과의 상호작용을 도와주는 이점을 갖고 있어 활발한 개발이 이루어지고 있다. -Methods for defining anomaly Hawkins “어떤 메커니즘에 의해 생성된 것으로 의심될 정도로 다른 관측치와 크게 다른 관측치” Barne

nochesita

모든 Paper review는 제가 공부하고 남기는 기록입니다. 잘못된 내용이나 추가 의견이 있으시면 언제든 자유롭게 댓글 남겨주세요. > **Published: KDD, 2019 Paper: https://arxiv.org/abs/1906.03821** [요약] Vision 분야에서 사용하는 Spectral Residual 방법론을 도입하여 이상치와 정상 데이터를 구분하고, 이를 CNN 기반 모델로 탐지하는 SRCNN 방법론을 제안했습니다. 이는 기존 대비 20% 이상의 매우 큰 성능 향상을 보였습니다. SRCNN은 다양한 형태의 시계열 데이터에 쉽게 적용할 수 있습니다. 또한 연산 속도가 빠르고 가벼워서 온라인 서비스에 쉽게 적용할 수 있습니다. [서론] Abstract 어느 정도 규모가 있는 기업들은 제공하는 서비스/제품에 대해 다양한 모니터링이 필요합니다. MS의 경우 시계열 기반 이상탐지 모델을 사용합니다. 논문에서 설명하는 파이프라인

xowhddk123

오늘은 시계열데이터, 좀 더 정확하게 말하자면 생체 신호 데이터에서 이상치 탐치하는 법에 대해서 공부를 해보았다. > 이 글은 개인적인 기록이자 내가 공부한 것에대한 정리용도임을 먼저 밝힌다. 때문에 정확하지 않은 지식이 마구 섞여있을 것이다. 최대한 조심하고 있지만 잘 모르는 입문자 압장에서 너무 많은 고민을 하다가는 한 줄도 정리하지 못 할것 같아 그냥 적기로 했다. 앞으로도 생각나는데로 작성할 생각이라 점차 지식이 쌓여가면 좀 더 정확해 지지 않을까 생각한다. 그러므로 혹시라도 이 글을 읽게 되시는 분들은 그냥 '이런게 있구나' 정도의 참고만 해주면 좋을 것 같다. anomaly detection STL Decomposition 시계열 이상치 탐색에서 가장 먼저 볼 수 있는 것은 STL decomposition이다. Seasonal, Trend, Loss 좀 더 정확히 말하자면 >"Seasonal and Trend decomposition usin

runway053

머리말 이번 글에서는 SingleStoreDB 에서 지원되는 Time Series 함수 3개, FIRST, LAST, TIME_BUCKET 의 사용 사례를 살펴 보겠습니다. Python Pandas Grouper 먼저 Python 의 Pandas DataFrame 으로 가상의 주가 데이터를 만들도록 합니다. DataFrame 의 모습은 다음과 같습니다. Pandas 의 Grouper 함수를 이용해 일단위, 시간단위, 분단위 등 Frequency 를 바꿔가며 분석을 할 수 있습니다. ![](https://ve

soup1997

RNN(Recurrent Neural Network) 순환 신경망(Recurrent neural network, RNN)은 인공 신경망의 한 종류로, 유닛간의 연결이 순환적 구조를 갖는 특징을 갖고 있다. 전통적인 neural network는 이전에 일어난 사건을 바탕으로 나중에 일어나는 사건을 생각하지 못한다. RNN은 이러한 신경망과 달리 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가지고 있다. 메모리 셀이 출력층 다음 시점의 $t+

tohone06

코드를 입력하세요

maseully_hoit

Time Series Anomaly Detection with Multiresolution Ensemble Decoding 2021 AAAI Conference on Artificial Intelligence (AAAI-21) RNN based autoencoder with decoder ensembles 기존 RNN을 사용한 autoencoder는 sequential decoding으로 인해 overfitting 및 error accumulation이 발생하기 쉬움 ➜ decoding length가 다른 여러 개의 decoder를 사용하는 방법을 적용 Introduction previous recurrent auto-encoder based anomaly detection methods ➜ privious time steps로 인한 error accumulation 때문에 long time series를 reconstructio

maseully_hoit

Outlier Detection for Time Series with Recurrent Autoencoder ensembles 2019 International Joint Conference on Artificial Intelligence (IJCAI-19) Autoencoder ensemble based Time series anomaly detection method ensemble ➜ overfitting된 일부 autoencoder의 영향을 줄이면서 model의 전반적인 성능을 향상시키는 것이 목표 Introduction previous autoencoder ensemble methods ➜ time series보다 non-sequential data에 적합했음 time series에 적합한 autoencoder ensemble을 구축하기 위하여, Recurrent Neural Network(RNN)을 사용 ➜ sp

ddangchani

상태공간모형(State-Space Model, 이하 SSM)은 Markov chain을 기반으로 하는 시계열 모형의 일종이지만, 실제 관측가능한 observation 데이터와 hidden state data가 결합하여 만들어진다. Definition 상태공간모형은 다음과 같이 정의된다. 각 t 시점에서는 세 종류의 벡터가 주어지는데, 먼저 벡터 $\mathbf{x}t \in \mathbb{R}^p$ 는 각 시점의 hidden state vector로, 관측할 수 없다. 반면 $\mathbf{y}{t}\in \mathbb{R}^{p}$ 와 $\mathbf{u}_{t}\in\mathbb{R}^{r}$ 는 각각 observation vector, exogenous vector(외생변수)로 이들은 관측가능한 데이터로 주어진다. 이때 다음과 같은 관계식으로 주어지는 모형을 상태공간모형이라고 한다. $$ \begin{cases} \mathbf{x}_{t} = \Phi\ma