[논문리뷰] Comparison between ARIMA and Deep Learning Modelsfor Temperature Forecasting

220915 작성

<본 블로그는 Eranga De Saa, Lochandaka Ranathunga 님의 논문을 참고해서 공부하며 작성하였습니다 :-) >

https://arxiv.org/abs/2011.04452

Comparison between ARIMA and Deep Learning Models for Temperature Forecasting

 

 

🟣 Abstract

• ARIMA (자동 회귀 통합 이동 평균) 모델 및 심층 온도를 예측하는 학습 모델
• 깊은 학습 모델은 1차원 컨볼루션으로 구성
• 공간적 특징을 추출하는 레이어와 LSTM 레이어를 추출하여 시간적 특징을 추출

 

 

 

1️⃣ INTRODUCTION

• 불확실하고 혼란스러운 대기 조건과 환경에 대한 이해 부족
• 평균을 구하여 적용한 기후학, 몇 년에 걸쳐 수집된 기상 통계
• 현재 수치 날씨 방법
  • 날씨 데이터를 사용하는 것
    • Support vector machine [1] , regression [2], Naïve bayes 기반 머신 러닝 접근 방식 [3]
  • 시계열 데이터를 기반
    • 인공신경망[4], ARMA[5], ARIMA[6]의 활용 
    • 예측을 구축하는 것을 목표

 

2️⃣ RELATED WORK

▶ Mark Hallstrom이 수행한 연구

• 수집된 데이터
  • 2011년부터 2015년까지  최소 온도, 최대 온도 및 2011~2015년 스탠포드에서의 평균 대기압, 평균 습도 및 일일 기상 조건
• 이 연구는 지난 이틀간의 데이터를 사용하여 7일 동안의 최소 및 최대 온도를 예측
• 비, 강수량, 흐림, 그리고 매우 흐림 등 4가지 날씨 분류
• 선형 회귀 알고리즘을 사용하여 최대 온도와 최소 온도를 선형 조합으로 예측
  • + 기능적 알고리즘의 변형이 이전의 기상 조건을 식별하기 위해 사용
• 개선사항은 선형 회귀 모델의 성능을 높이기 위해 더 많은 데이터를 수집할 것을 제안

 

▶ Tarun Rao이 수행한 연구

• support vector machines 을 지략적인 접근법으로 사용하여 날씨를 예측
• 지도 학습에 속하며 분류 및 회귀 분석 문제에 널리 사용
• 하루의 최대 온도를 예측하기 위해 linear support vector regression 을 사용
  • back propagation 알고리즘으로 훈련된 다층 퍼셉트론을 사용
  • Neural networks로 널리 알려진 Perceptrons 네트워크는 대부분 지도 학습 알고리즘에 속함
  • Neural networks은 학습 모델을 개발하기 위해 동물과 인간이 학습하는 방식을 모방
  • 역전파는 오류를 네트워크의 내부 레이어로 역전파하여 네트워크에서 각 뉴런의 가중치를 미세 조정하는 데 사용되는 방법
• 결과, support vector machines은 back propagation에 의해 훈련 받는 다층 퍼셉트론 Neural networks 능가

 

▶ Lai et al이 수행한 연구

• 기상 예측은 동쪽 중국에서 동적으로 weighted time delay neural network 사용
  • Dynamic weighted time delay neural network (동적 가중 시간 지연 신경망)은 하위 범주 시간 지연 
  • 시간 지연 신경망은 번역 불변 모양을 식별하고 모든 계층에서 contest를 모델링한다

동적 가중 시간 지연 뉴런의 구조

• 숨겨진 단일 층을 가진 고른 신경망이 강우량과 온도를 대략적으로 예측할 수 있다는 결론 도달
• 신경망은 fireworks 알고리즘을 통해 훈련
  • fireworks 알고리즘은 집단 행동을 모방한 군집 지능 알고리즘
    
  • 주로 최적화에 사용
• 연구 목적은 하루 평균 기온을 예측하는 것
• 수집된 데이터
  
  • Chaloemprakiet 기상 관측소의 2012년과 2015년 사이의 과거 일상을 데이터 세트로 사용
• 모델은 81.48%의 훈련 정확도, 테스트 정확도는 73.79%

 

 

3️⃣ DATASET AND PREPROCESSING

• 수집된 데이터
  •  Szeged, Hungry의 날씨 데이터가 사용 (kaggle)
  • 온도, 습도 및 풍속과 같은 시간당 기상 데이터가 포함 ( 이 연구에서는 온도 값만 사용 )
  • 2006년과 2016년 사이의 기간을 포함

일교차 시계열

• 분석을 단순화하기 위해 월평균 온도 값만 고려

월별 온도 시계열

• 데이터 세트는 기계 학습 알고리즘에 의해 훈련되기 위해 정규화된 데이터이어야 함
  • 시계열 데이터 세트의 온도 값은 z-score 정규화 기법을 사용하여 정규화
  • z score 는 온도 표본 평균( ) 및 표본 표준 편차( )를 기준으로 계산
  • 방정식을 통해 시계열 데이터에 대해 정규화된 값 z 얻음

 

 

4️⃣ FORECASTING MODELS

A. ARIMA

▶ Box와 Jenkins가 수행한 연구

• ARIMA ((p, d, q) Auto regressive integrated moving average model)가 시계열 데이터를 분석하기 위해 사용
• 광범위한 시계열 분석 응용 프로그램에 적용됨

 

▶ Ring Chen과 Xu Lai[6]가 수행한 연구

• 1단계 : 모델 인식
  • 온도 시계열 데이터 x
  • (t-i)번 째 온도 시계열 데이터 x(t-i)
  • 무작위 백색 소음 시계열 a(t)
  • 자동 회귀 매개변수 φ(i)
  • 이동 평균 매개변수 θ(j)
  • 자기 회귀 모델의 순서 p
  • 이동 평균 매개변수 d
• Dickey-Fuller test 을 사용하여 지정된 시계열이 정지 상태인지 여부를 확인
• 증강된 dickey fuller tests 는 ARIMA 모델을 수용할 수 있는 일반화된 dickey fuller tests
• 시계열이 비정상인 경우 시계열을 고정 모델로 변환하기 위해 차분을 수행

1차 차액

• 고정적이지 않은 경우, d=1일 때 정지될 때까지 d-1을 사용하여 차이를 두기

 

• 2단계 : 파라미터의 추정
• Parameter estimation 에는 가장 높은 정확도로 시계열을 설명할 수 있는 올바른 p와 q를 선택하는 것이 포함
• 자동 상관 함수(ACF)와 편 자기 상관 함수(PACF)를 분석하여 대략적으로 추정
  • ACF 함수는 이동 평균 q의 순서를 결정하는 데 도움
  • PACF 함수는 자기 회귀 모델의 순서를 결정하는 데 사
  • P 값은 PACF 그래프가 신뢰 상공을 지나는 시차 값
  • Q 값은 ACF 그래프가 신뢰 상단의 간격과 교차하는 시차 값

 

• 3단계 : Residual 진단 및 예측 확인
• Residual 은 적절한 모형을 장착한 후 남은 것 
  • 잔차는 실제 값과 예측 값 사이의 차이로 간주
  • 모델이 시계열 데이터에서 적절한 정보를 캡처할 수 있는지 확인하기 위해 수행

• 적절한 예측 모형의 경우 잔차는 상관 관계가 없고 평균이 0이어야 함

 

B. Deep learning

• 딥 러닝 모델은 2개의 1차원 컨볼루션 레이어와 2개의 LSTM 레이어로 구성
  • 1차원 컨볼루션 레이어는 시계열 데이터로부터 lateral features을 얻는 데 사용
  • LSTM 레이어는 온도 시계열에서 temporal features을 추출하는 데 사용

딥 러닝 모델의 높은 수준의 아키텍처

 

 

• 1단계 : 1차원 컨볼루션 레이어
• 컨볼루션 연산(convolution operation)은 한 함수의 모양이 다른 함수에 의해 어떻게 수정될 수 있는지를 표현할 수 있는 두 개의 주어진 함수에서 파생된 함수
• CNNS는 역 전파 알고리즘을 사용하여 훈련
• CNN은 이미지 처리 관련 작업에 일반적으로 사용
  • CNN은 차원을 고려하지 않고 유사한 특성과 유사한 접근 방식을 공유
  • 주요 차이점은 입력 데이터 차원 및 필터가 주어진 데이터를 가로질러 미끄러지는 방식
    • 1차원 컨볼루션 레이어 필터는 단일 차원만 슬라이딩
    • 온도 시계열 데이터 세트에는 시간 단계와 온도 값이라는 두 가지 차원이 있음
  • 필터나 커널은 시간 차원을 따라서만 이동

커널 슬라이딩 온도 데이터

 

• 일반적으로 필터링된 결과 영상에 풀링이 적용
  • 풀링의 목적은 로컬 번역 불변성(local translation invariance) 을 달성하는 것
  • 풀링은 기능 맵을 다운 샘플링하여 이 목적을 달성
    • 두 가지 풀링 방법
      • 처음에는 피쳐 맵이 chunks로 나뉨
      • 최대 풀링에서 그룹의 최대값이 사용
      • 평균 풀링에서 그룹의 평균 값이 사용
    • 결과 이미지는 원본의 축소 버전

 

• 2단계 : LSTM 레이어
• 장기 단기 메모리 네트워크는 RNN(Recurrent Neural Networks)의 특별한 유형
• LSTMS는 장기적인 의존성으로부터 배울 수 있는 능력을 가지고 있음
• RNN은 훈련을 위해 시간 동안 잘린 후방 전파를 사용
  • RNN은 시간 단계가 너무 많으면 기울기 문제가 사라짐
  • LSTMS는 사라지는 경사 문제를 극복하기 위해 설계
• LSTM은 셀 상태와 다양한 게이트를 업데이트

• Forget gate
  • 망각의 목적은 어떤 정보를 기억에서 잊어야 하는지 결정하는 것
  • sigmoid function 는 현재 입력 및 이전 숨겨진 상태의 정보에 적용
    • 값이 0에 가까우면 버림
    • 1에 가까우면 보존
• Input Gate
  • 셀 상태 업데이트와 관련된 입력 게이트
  • 현재 입력과 이전 숨겨진 상태에 sigmoid function를 적용하여 업데이트해야 할 값을 결정
    • 0은 업데이트 필요하지 않음
    • 1은 업데이트 필요
  • tanh 게이트를 적용하여 -1과 +1 사이의 값을 변환
  • 이 두 게이트의 다음 출력은 셀 상태에 곱하여 추가
• Output gate
  • 다음 숨겨진 상태를 결정하는 것을 포함
  • 현재 입력과 이전 숨김 상태에 sigmoid function를 적용하여 다음 숨김 상태에서 어떤 정보를 포함해야 할지 결정
  • tanh 게이트는 새로운 셀 상태에 적용
  • 다음 숨겨진 상태는 이 두 게이트 값을 곱하여 계산

 

 

5️⃣ EVALUATION

• 제안된 ARIMA(p,d,q) 및 딥러닝 모델을 평가하기 위해 동일한 월별 온도 시계열 데이터를 사용하여 ARIMA 모델을 식별하고 딥러닝 모델을 훈련하고 이 두 모델을 모두 테스트
• MSE(평균 제곱 오차)는 각 모델과 관련된 평균 제곱 오차 측면에서 모델의 정확도를 검증 (MSE 낮출수록 모형이 더 우수)

• Y : 실제 온도
• ^Y : 해당 온도

 

 

6️⃣ RESULTS

12개월 동안의 기온 예측 결과

• 2016년 1월부터 2017년 1월까지의 최근 12개월 동안의 기온 예측 결과
  • 파란색 선은 특정 월의 실측 온도 값
  • 빨간색 선은 해당 월의 예측 결과
• 2016년 3월의 온도를 예측하는 데 어려움을 겪고 있음
• 2016년 4월 이후 딥러닝 모델은 해당 기간의 ARIMA 모델과 비교할 때 실제에 더 가깝게 예측
  • 예측 성능 측면에서 딥러닝 모델의 우수성을 보여줌

ARIMA와 딥 러닝 모델의 MSE 비교 분석

• 딥러닝 모델은 가장 낮은 평균 제곱 오차 값을 얻을 수 있었기 때문에 ARIMA 모델보다 정확도 면에서 우수함

 

 

7️⃣ CONCLUSION

• 이 연구는 12개월 전 온도를 예측하기 위해 딥 러닝과 ARIMA 모델을 도입
• 두 모델 모두 정확도 측면에서 성능을 기준으로 비교 분석
• 모델 식별 및 검증을 위해 Hungry, Szeged에 설정된 실제 날씨 데이터를 사용
• 실험 결과에 따르면 컨볼루션 및 LSTM 레이어로 구성된 딥 러닝 모델은 온도를 예측할 때 ARIMA 모델을 능가
• 결론적으로 딥 러닝 모델은 온도와 같은 기상 매개 변수 예측 애플리케이션을 위한 전통적인 ARIMA 모델을 효과적으로 대체할 수 있음