시계열 데이터(Serial data) 전처리 하기 (2)

220927 작성

<본 블로그는 today-1님의 블로그를 참고해서 공부하며 작성하였습니다 :-) >

https://today-1.tistory.com/31?category=886697 

https://today-1.tistory.com/32?category=886697 

시계열 데이터 전처리2

 

 

1️⃣ 시간영역(해상도) 선택

 : 시계열이 분석효과에 도움이 될 시간영역(해상도)을 분석가의 경험과 지식을 기반으로 선택해야 함

: 일반적으로 예측 정확성이 높은 시간영역을 선택하거나 예측 결과를 다시 학습으로 사용하여 연속적으로 사용함

: 연간 단위 비즈니스 목표 예측을 예시로

• 월별 또는 분기별 데이터를 사용하면 연간 데이터보다 나은 예측이 가능할 것
• 월/분기별 예측치를 연간으로 환산시 오류가 늘어날 것 같지만 실제로는 반대의 경우가 많음
• 너무 세분화된 시간영역을 사용할 시 오류가 증가될 수 있음

 

 

2️⃣ 높은 정확도와 높은 에러

: 시계열 데이터/분석은 높은 정확도를 낳거나 높은 에러를 발생시킴

: 높은 정확도(High Accuracy)는 과거 패턴이 미래에도 그대로 유지가 된다면 예측 정확도가 높아짐

: 높은 에러(High Error)는 패턴이 점차적으로 또는 갑자기 변경되면 예측값은 실제값에서 크게 벗어날 수 있음

• Black Swan : 일어날 것 같지 않은 일이 일어나는 현상
• White Swan : 과거 경험들로 충분히 예상되는 위기지만 대응책이 없고 반복될 현상
• Gray Swan : 과거 경험들로 충분히 예상되지만 발생되면 충격이 지속되는 현상

 

 

3️⃣ 시간현실 반영

: 미래의 시간패턴을 미리 반영하는것은 비현실적이며 이는 과적합(Overfitting)을 유발

: 기계학습에서 Test Set을 절대 사용하면 안되는 이유이며, 일반화 성능을 하락시키는 주된 원인

시간현실 반영 유의사

 

 

4️⃣ 데이터 전처리

: 분석 결과 안정성을 확보하기 위해서 조건수를 감소시켜야 함

• 스케일링(Scaling) : pc메모리를 고려하여 오버플로우나 언더플로우를 방지, 독립 변수의 공분산 행렬 조건수를 감소
  • Standard Scaler : 평균을 제외하고 표준편차로 나누어 변환 (정규 분포를 가정시 사용)
  • Min-Max Scaler : 가장 많이 활요되며 최소~최대 값이 0~1 또는 -1~1 사이로 변환 (정규 분포 가정을 안함)
  • Robust Scaler : 최소-최대 스케일러와 유사하지만 최소/최대 대신 IQR중 1분위수와 3분위수를 사용하여 변환
  • Normakuzer : 각 변수들 전체 n개 모든 변수들의 크기들로 나누어서 변환, 모든 변수들의 값은 원점으로 부터 반지름 1 이내

scaling

 

• 다중공선성(Multicollinearity) 제거 : 독립변수의 일부가 다른 독립변수들의 조합으로 표현될 수 있는 경우 등 발생
  • Variance Inflation Factor(VIF) 변수 선택 : 의존성이 낮은 변수 선택 혹은 높은 독립변수를 제거
  • Principal Component Analysis(PCA) 변수 선택 :  서로 독립인 차원의 독립변수 행렬로 변환시키는 알고리즘