ADTK (Anomaly detection toolkit) 시계열 이상탐지 오픈소스

220906 작성

<본 블로그는 analyticsindiamag 님의 블로그를 참고해서 공부하며 작성하였습니다 :-) >

https://analyticsindiamag.com/a-hands-on-guide-to-anomaly-detection-in-time-series-using-adtk/

A hands-on guide to anomaly detection in time series using ADTK

 

 

😎1. ADTK란 ?

• 과거 데이터에서 비정상 데이터를 거의 찾지 못하고 지도 모델을 구축하는 데 문제 있음
• 관심 있는 이벤트 유형을 이해하기 위해 항상 비정상을 감지해야 하는 요구 사항 있음
  •    이상값 감지기
    • 데이터에서 이상값을 감지
    • 임계값 감지, 계절 감지, 회귀 감지 등과 같은 시계열의 모든 유형의 감지에 도움이 되는 다양한 모듈
  • 변환기
    • 데이터를 변환
    • 이 클래스에는 롤링 집계, 계절 분해 등의 모듈과 같은 다양한 모듈
  • 규칙 체인 집계기
    • 모든 규칙에 따라 설정된 시점을 식별하고 집계

 

 

 

 

😎2. 코드구현

 

1️⃣ Data Load

• yfinance : 야후 파이낸스에서 크롤링한 데이터를 제공하는 라이브러리

pip install yfinance

• 인도 국영 은행에서 주가 데이터를 추출

import datetime as dt
from datetime import datetime as dt
from dateutil.relativedelta import relativedelta
import yfinance as yf

end = dt.today()
start = dt.today() - relativedelta(years=1)
data = yf.download('SBIN.NS', start, end)
data.tail()

• 주가 시가, 고가, 저가 및 종가와 주식의 거래량이 변수

2️⃣ 데이터 전처리

• 주식 시장이 열리지 않는 주말이 있음! -> 결측치 발생
  • 이 격차를 메워야 하지만 그 전에 데이터에 누락된 날짜가 몇 개인지 확인

import pandas as pd

# pandas.date_range() : 고정 빈도 DatetimeIndex를 반환하는 데 사용되는 Pandas의 일반 함수
pd.date_range(start = start, end = end ).difference(data.index)
# difference : data의 columns에서 분리해내는 method

• 결측치 채우기
  • reindex : 특정 축을 다라 입력된 배열에 다라 데이터 순서를 조정

idx = pd.date_range(start, end)

# reindex : 특정 축을 다라 입력된 배열에 다라 데이터 순서를 조정
data = data.reindex(idx)
# fillna : DataFrame에서 결측값을 원하는 값으로 변경
# ffill : 결측값이 바로 위값과 동일하게 설정
data.fillna(method="ffill", inplace = True)

 

• 결측치 있는지 다시 확인

pd.date_range(start = start, end = end ).difference(data.index)

 

 

3️⃣ 데이터 검증 및 시각화

• ADTK의 모듈로 작업하려면 패키지로 데이터를 검증

# 비지도/규칙 기반 시계열 이상 탐지를 위한 Python 패키지
from adtk.data import validate_series

data = validate_series(data)
print(data)

fillna 하니까 NaN 값이 지속돼서, 그냥 전처리 하지 않고 가겠다..

전처리 안한 data

• 시각화

from adtk.visualization import plot

plot(data)

 

4️⃣ 계절적 이상 탐지

• 이상 현상 및 볼륨 변수에 의한 계절 패턴 위반을 감지

from adtk.detector import SeasonalAD

seasonal_vol = SeasonalAD()
anomalies = seasonal_vol.fit_detect(data['Volume'])
anomalies.value_counts()

plot(data, anomaly=anomalies, anomaly_color="orange", anomaly_tag="marker")

 

5️⃣ 임계값 감지

• 시계열이 이 임계값을 벗어나는 지점을 감지

print('Average closing price', data['Close'].mean())
print('Minimum closing price', data['Close'].min())
print('Maximum closing price',data['Close'].max())

from adtk.detector import ThresholdAD
threshold_val = ThresholdAD(high=530, low=180)
anomalies_thresh = threshold_val.detect(data['Close'])

• 이상징후가 무엇인가?
  • True 개수

anomalies_thresh.value_counts()

• 시각화

from adtk.visualization import plot
plot(data, anomaly=anomalies_thresh, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='black');

 

 

 

하다가 결측치 채우는 부분에서 data 값이 NaN 값으로 나왓다..

이유가 궁금하다 reindex는 첨이라..