시계열 데이터(Serial data) 전처리 하기 (1)

220927 작성

<본 블로그는 today-1님의 블로그를 참고해서 공부하며 작성하였습니다 :-) >

https://today-1.tistory.com/29?category=886697 

시계열 데이터 전처리1

 

 

1️⃣ 시계열 데이터패턴 추출

빈도(Frequncy) : 계절성 패턴(Seasonality)이 나타나기 전까지 사람이 정의

추세(Trend) : 시계열이 시간에 따라 증가, 감소 또는 일정 수준을 유지하는 경우

계절성(Seasonaliy) : 일정한 빈도로 주기적으로 반복되는 패턴

주기(Cycle) : 일정하지 않은 빈도로 발생하는 패턴

 

 

 

2️⃣ 시계열 데이터 분리

https://modern-manual.tistory.com/19

Training set : Validation set : Test sets = 60 : 20 : 20

Training set (훈련 데이터)

: 모델을 학습하는데 사용

 

Validation set(검정 데이터)

: training set으로 만들어진 모델의 성능을 측정하기 위해 사용

: 일반적으로 어떤 모델이 가장 데이터에 적합한지 찾아내기 위해서 다양한 파라미터와 모델을 사용해보게 되며, 그 중 validation set으로 가장 성능이 좋았던 모델을 선택

 

Test set(테스트 데이터)

: validation set으로 사용할 모델이 결정 된 후, 마지막으로 딱 한번 해당 모델의 예상되는 성능을 측정하기 위해 사용

: 이미 validation set은 여러 모델에 반복적으로 사용되었고 그중 운 좋게 성능이 보다 더 뛰어난 것으로 측정되어 모델이 선택되었을 가능성이 있음

: 때문에 이러한 오차를 줄이기 위해 한 번도 사용해본 적 없는 test set을 사용하여 최종 모델의 성능을 측정

https://modern-manual.tistory.com/19

 

시계열 데이터 준비(시간 차원을 보존, 날짜를 정하는게 가장 핵심)

• 훈련 데이터(Train set) : 가장 오래된 데이터
• 검증 데이터(Validation set) : 그 다음 최근 데이터
• 테스트 데이터(Test set) : 가장 최신의 데이터