티스토리 뷰
[논문 리뷰] Are Transformers Effective for Time Series Forecasting?
hyuna_engineer 2024. 4. 1. 13:02https://arxiv.org/abs/2205.13504
Are Transformers Effective for Time Series Forecasting?
Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Tr
arxiv.org
오늘은 이 논문에 대한 내용 정리 및 리뷰를 진행할 것이다.
시작하기 전 관련된 코드는 GitHub - cure-lab/LTSF-Linear: [AAAI-23 Oral] Official implementation of the paper "Are Transformers Effective for Time Series Forecasting?"
GitHub - cure-lab/LTSF-Linear: [AAAI-23 Oral] Official implementation of the paper "Are Transformers Effective for Time Series F
[AAAI-23 Oral] Official implementation of the paper "Are Transformers Effective for Time Series Forecasting?" - cure-lab/LTSF-Linear
github.com
에 제시되어 있다.
<내용>
Abstract
Transformer 뜨고, 시계열 데이터에 한 번 실험적으로 결합해보자. Long - term time series 사람이 분석하기 어려운 시간이 긴 데이터에 대해서 이렇게 이름을 붙인 것. semantic correlation과 temporal relation 관계성이 같냐? 아님.
transformer - CV, NLP에서 잘 쓰임.
Informer & FEDformer 는 transformer 를 결합해서 time series data에 적합하게 바꿈. transformer는 positional encoding이 그렇게까지 중요하게 요구되지 않지만, time series data는 이와 달리 positional encoding이 중요함. transformer는 연속적인 것에 대해 예측,
time series data는 trend, seasonality와 같이 크게 두 가지 특성을 지님.
look-back window 예측하기 전까지의 data
IMS 하나씩 데이터 보고 예측, DMS 전체 데이터 보고 예측
Transformer에 적합한 data <-> time series data
전자 : semantic correlation
후자 : time series data
시계열 분석에 자주 쓰이는 대표 dataset들.
DLinear = LTSF - Transformers
transformer가 데이터 특징을 잘 못 뽑아 냄.