fbprophet 시계열 데이터로 웹 트래픽 감지

220923 작성

<본 블로그는 HyeongWookKim 님의 깃허브를 참고해서 공부하며 작성하였습니다 :-) >

https://gist.github.com/HyeongWookKim/c8f31f30b233896bb8947622d7efaf82

[Ch 7. 시계열 데이터를 다뤄보자] from "파이썬으로 데이터 주무르기(민형기 지음)"

 

 

 

1️⃣ libraries & data load

import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import pandas_datareader.data as web
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

from fbprophet import Prophet
from datetime import datetime

• 날짜(index), 방문수(hit)

pinkwink_web = pd.read_csv("08. PinkWink Web Traffic.csv",
                           encoding = 'utf-8', thousands = ',',
                           names = ['date', 'hit'], index_col = 0)
pinkwink_web = pinkwink_web[pinkwink_web['hit'].notnull()]
pinkwink_web.head()

 

• 2016년 7월 1일부터 2017년 6월 16일까지의 유입량

pinkwink_web['hit'].plot(figsize = (12, 4), grid = True);

 

🖤  '선형 회귀 직선' 및 '다항 회귀식'을 표현

time = np.arange(0, len(pinkwink_web)) # 시간축(time) 생성 (0부터 365까지)
traffic = pinkwink_web['hit'].values   # 웹 트래픽의 자료를 traffic 변수에 저장

fx = np.linspace(0, time[-1], 1000)    # 0부터 364까지를 1000개로 분할

• RMSE(Root Mean Square Error)을 계산해주는 error() 함수를 생성

def error(f, x, y):
    return np.sqrt(np.mean((f(x) - y) ** 2)) # RMSE(Root Mean Square Error)

 

• 각 차수별 다항식의 'RMSE(Root Mean Square Error)'을 계산하고, 결과를 시각화
  • 1차, 2차, 3차 다항식의 RMSE(Root Mean Square Error)는 거의 비슷
  • 15차 다항식의 RMSE(Root Mean Square Error)는 비교적 낮음
    • => 모델이 복잡해질수록 주어진 데이터에 대한 fitting 정확도가 높아지기 때문
    • => 모델이 너무 복잡하면 과적합(overfitting) 문제가 발생

# 1차 다항식
fp1 = np.polyfit(time, traffic, 1)
f1 = np.poly1d(fp1)

# 2차 다항식
f2p = np.polyfit(time, traffic, 2)
f2 = np.poly1d(f2p)

# 3차 다항식
f3p = np.polyfit(time, traffic, 3)
f3 = np.poly1d(f3p)

# 15차 다항식
f15p = np.polyfit(time, traffic, 15)
f15 = np.poly1d(f15p)

# 각 차수별 다항식의 '잔차 제곱합'을 계산
print(error(f1, time, traffic))
print(error(f2, time, traffic))
print(error(f3, time, traffic))
print(error(f15, time, traffic))

plt.figure(figsize = (10, 6))
plt.scatter(time, traffic, s = 10)

plt.plot(fx, f1(fx), lw = 4, label = 'f1')
plt.plot(fx, f2(fx), lw = 4, label = 'f2')
plt.plot(fx, f3(fx), lw = 4, label = 'f3')
plt.plot(fx, f15(fx), lw = 4, label = 'f15')

plt.grid(True, linestyle = '-', color = '0.75')

plt.legend(loc = 2)
plt.show()

1, 2, 3, 15 차 다항식

 

 

2️⃣ Prophet 모듈을 이용한 forecast 예측

• pinkwink_web 변수에서 날짜(index), 방문수(hit)만 따로 저장
• pandas의 to_datetime() 함수를 사용해서 'ds' 변수를 날짜로 선언
• Prophet() 함수를 사용할 때, 주기성이 연단위(yearly_seasonality) 및 일단위(daily_seasonality)

df = pd.DataFrame({'ds': pinkwink_web.index, 'y': pinkwink_web['hit']})
df.reset_index(inplace = True)

df['ds'] = pd.to_datetime(df['ds'], format = "%y. %m. %d.") # "yyyy-mm-dd" 형태로 변경

# 'ds' 변수를 생성해줬으므로, 'date' 변수는 삭제
del df['date']

m = Prophet(yearly_seasonality = True, daily_seasonality = True)
m.fit(df)

 

• make_future_dataframe()로 지정된 날짜 수만큼 미래로 확장하는 적절한 데이터 프레임 얻기
  • 60일 간의 데이터를 예측

future = m.make_future_dataframe(periods = 60)
future.tail()

 

• predict()를 사용하여 예측한 데이터를 forecast 변수에 저장

forecast = m.predict(future)
forecast.head()

 

• 확인해보고자 하는 변수들만 뽑아내서 확인
  • 'ds', 'yhat', 'yhat_lower', 'yhat_upper' 

 

• 시각화를 통해 예측 결과를 확인
  • 2017년 6월 말까지의 데이터 이후, 약 2개월(60일)의 예측 결과
  • 단순히 다항식으로 경향을 파악하는 것보다 더 효과적

m.plot(forecast);

 

• plot_components()를 사용해서 선형 회귀 및 계절성 성분 별로 분해
  • = forecast component 시각화 (Trend, Holidays, Weakly, Yearly, Daily)

m.plot_components(forecast);

추세성 (Trend)	데이터의 장기적 변동
순환성 (Cycle)	주기를 가지지만 일정하지 않고 반복이 없는 데이터의 변동
계절성 (Seasonality)	일정한 주기를 가지고 반복되는 데이터의 변동
불규칙성 (Noise)	알 수 없거나 돌발적인 요인에 의해 발생하는 데이터의 변동

 

 

plot_components 로 상황별 그래프 분석이 가능하다니..

신기하다.... 크..