[논문리뷰] Machine Learning for Anomaly Detection on VM and Host Performance Metrics

220926 작성

<본 블로그는 Monica-Ann Mendoza, Henry R. Amistadi 님의 논문을 참고해서 공부하며 작성하였습니다 :-) >

https://apps.dtic.mil/sti/pdfs/AD1108009.pdf

 

 

 

 

🖤 VM 및 호스트 성능 지표의 이상 감지를 위한 머신 러닝

• machine learning 을 사용하여 IT 시스템 운영자에게 보내는 잘못된 경고의 수를 줄이기
• 기존 IT 시스템 모니터링에서 감지하지 못한 경고 상황 발견하기

 

1️⃣.2 Why machine learning?

• 머신 러닝(Machine Learning, ML)은 컴퓨터 공학에서 컴퓨터가 명시적으로 프로그래밍되지 않고 데이터로부터 학습하는 하위 분야
• ML 알고리즘은 사람의 개입 없이 데이터의 패턴을 자동으로 감지하고, 통계 모델을 구축하고, 예측을 한다
• ML은 IT 리서치 회사인 Gartner가 고급 분석 및 빅데이터 기술을 IT 관리에 사용하는 것을 설명하기 위해 만든 용어인 AIOps(Algorithmic IT Operations)의 핵심 구성 요소
• 이상 탐지의 ML
  1. 정상행동의 통계적 모델을 학습
  2. 모델을 사용하여 미래 가치 예측
  3. 실시간으로 새로운 데이터를 수집하므로 예측된 값과 실제 값을 비교하여 이상 징후를 파악
  4. 새 데이터가 수집되면 ML 모델이 자동으로 업데이트 (업데이트는 사람의 개입 없이 수행)
• 모든 예측이 데이터의 원래 패턴에만 기반을 두는 것이 아니라 시간이 지남에 따라 변화하는 데이터 패턴을 설명함

 

1️⃣.3 Design considerations

• 자동화 : 정상 동작의 모델을 구축하려면 수동 조정이 거의 또는 전혀 필요하지 않아야 함
  • 정상으로 간주되는 것은 운영 전문가가 정의하는 것이 아니라 데이터를 통해 학습
• 복잡성 : 이상 임계값은 단일 정적 값(예: CPU 사용률 75%)보다 더 복잡해야 하는 경우가 많음
  • 우리의 모델은 변동 패턴(예: 일일 또는 주간 주기)을 반영하고 이러한 패턴을 기반으로 임계값을 설정
• 적응형 : 모델은 시간이 지남에 따라 새로운 데이터가 수집됨에 따라 자체 업데이트
• 유연성 : 이상 탐지를 위한 우리의 알고리듬은 다양한 패턴에 걸쳐 잘 일반화되어야 함
• 스트리밍 : 실시간으로 이상을 감지할 수 있어야 함

 

1️⃣.4 Our solution

• Kalman filters는 새로운 데이터에 적응하며 최근 데이터는 예측에 더 많은 영향을 미침
• 시간이 지남에 따라 성능이 저하되는 경우 Kalman은 새로운 패턴을 학습하고 이상 징후로 인식하지 않음
• 결함 상황을 감지하기 위해, 두 가지 단계를 가지고 있는데, 하나는 short(point)와 하나의 longer(collective) 이상 감지
  • Point 이상 징후는 일시적일 수 있으며, collective 이상 징후가 지속되고 동작 변화를 나타낼 가능성이 더 높음

---

▶ 측정지표 값의 비정상적인 스파이크를 감지하기 위한 칼만 필터 예측

• 칼만 필터를 사용하여 몇 주 동안의 과거 데이터에서 정상적인 동작의 모델을 학습
  • 한 주 동안의 미래 가치를 예측하고, 한 주 동안 새로운 데이터가 수집됨에 따라 실제 값이 예측된 값과 거리가 멀 경우 데이터 포인트를 변칙으로 플래그 지정
• 칼만 필터는 순환 패턴을 처리
  • 사이클의 길이를 감지하기 위해 자기 상관 함수(ACF)를 사용
• In anomaly detection literature, 스파이크를 검출하는 것을 point anomaly detection

 

 

▶ DBSCAN 클러스터링 - 메트릭에 대한 비정상 동작의 장기 탐지

• 칼만 필터의 장점은 데이터의 변화하는 패턴에 적응할 수 있다
  • BUT, 모든 패턴 변경이 자동으로 "정상"으로 간주되는 것은 아님
  • 바람직하지 않고 예기치 않은 시스템 변경을 반영할 수 있기 때문
• DBSCAN을 사용하여 메트릭 값의 시퀀스를 비교
  • 최근 주가 이전 주에 비해 변칙적인지 여부를 결정하는 거리 메트릭을 계산
• In anomaly detection literature, 이상 데이터 시퀀스를 탐지하는 것을 collective anomaly detection

 

2️⃣.1 Splunk Applications

• VMware 데이터를 수집하고 분석하기 위해 다음 Splunk 앱을 사용
  • 머신러닝 툴킷(v2.3.0)
    • MLTK는 데이터의 ML 분석을 위한 명령과 시각화를 제공
    • 알고리즘은 분석 범주로 그룹화
    • MLTK에는 각 범주에 대해 사용자를 ML 워크플로우로 안내하는 대시보드인 "보조"가 포함
      - 숫자 특이치 탐지
      - 예측 시계열
      - 숫자 이벤트 군집화
      - 숫자 필드 예측
      - 범주형 필드 예측
      - 범주형 특이치 탐지
    • MLTK는 scikit-learn 및 통계 모델과 같은 파이썬의 과학 및 ML 라이브러리에서 24개 이상의 알고리즘을 포함

 

 

2️⃣.3 Workload patterns

• VMs의 컴퓨팅 애플리케이션 사용 및 예약된 백업에 따라 달라짐
• 각 워크로드가 서로 다른 시계열 패턴에 해당하는 경우 임계값을 구성하여 이를 모두 모니터링하기는 어려움
• 모든 패턴을 자동으로 처리할 수 있을 만큼 유연한 이상 감지 솔루션을 개발하는 것을 목표
  • anomaly 검출 해결책은 데이터의 모양은 주로에 근거

 

• Weekly patterns
  • Workloads 가 특정 요일과 시간에 오르내림

- 평일 밤에 급증
- 평소의 주말은 업무 시간 동안 급증(M-F 오전 8시부터 오후 6시까지)
- 주말에 급증 매일 밤 스파이크가 발생하지만 가장 큰 스파이크는 매주 밤에 발생 (일요일)

 

• 노이즈가 있는 상수 값
  • 평균 주위를 맴돌며 변동에는 탐지할 수 있는 추세가 없음

• 스텝 체인지
  • 값은 비교적 일정하지만 갑자기 떨어지거나 증가

 

• 주기성 변경
  • 패턴은 순환적이지만 주기의 길이는 시간에 따라 변함
  • 사이클은 처음에는 60시간이었지만 점차 70시간으로 늘어남

 

• 편차 패턴
  • 작업량 패턴은 일정 기간 동안 일정하지만 이후 변경

• 칼만 필터는 규칙적인 패턴 시계열과 일정한 주기성에 가장 잘 작동
• "주간 패턴"과 "소음과 함께 일정"에 잘 작동

 

 

2️⃣.4 시계열 이상 검출 기법의 문헌 검토

• workload 패턴은 시계열 데이터, 즉 시간적 순서가 있는 데이터
• 이상 탐지 솔루션을 개발할 때 시계열 분석의 원칙에 의존하여 성능 지표를 검토하고 모델링
• 두 가지 유형의 이상 징후를 찾기 위한 방법
  • Point 이상
    • 하나의 이벤트(single 시점)가 일반적인 workload 에 비해 비정상적
    • 시계열 차트에서 양 또는 음의 방향으로 갑자기 스파이크가 나타남
      • 전역 - 전체 데이터 세트에 대해 비정상적임
      • 로컬 - 특정 컨텍스트(예: 이벤트의 주중 및 시간)가 주어지면 비정상
  • Collective 이상 현상
    • 이벤트 모음(time span)이 비정상
    • 단계 변화와 편차 패턴을 집단 이상

• 관련된 일반적인 접근법
  • 기술 통계량
  • 미닫이창
  • 회귀
  • 예측
  • 클러스터링

 

 

 

3️⃣.3.1 Point anomaly detection
▶ ARIMA

• Splunk MLTK “Forecast Time Series” 는 알고리즘, 자기 회귀 통합 이동 평균(변동)을 제공
• ARIMA의 MLTK 구현에는 칼만 필터를 바람직하게 만드는 몇 가지 한계
  • MLTK 칼만 필터는 보다 자동화되고 유연하며 보다 복잡한 패턴을 모델링 가능

▶ 트위터의 변칙검출 R패키지

• 트위터의 알고리즘 계절 복합 ESD(S-H-ESD)
  • 주간 패턴을 사용하여 워크로드에서 로컬 및 글로벌 이상을 탐지
  • 비주기적이고 일정한 값인 시계열에서 이상 징후를 탐지
  • 칼만 필터 접근법과 마찬가지로, 그것은 사용자가 단일 주기성을 지정해야 하기 때문에 주기성이 변화하는 시계열에 적용할 수 없었음

 

 

3️⃣.3.2 Collective anomaly detection
▶ Twitter’s BreakoutDetection R Package

• 트위터는 두 가지 주요 유형의 이탈을 정의
  • (1) 평균 이동(즉, 단계 변경)
  • (2) 상승(즉, 점진적 증가)
  • 기본 알고리즘은 중위수가 있는 E-Divitive(EDM)
• BreakoutDetection이 편차 패턴과 단계 변경을 식별할 수 있다는 것을 발견
  • DBSCAN 접근 방식은 집단 시퀀스(예: 일주일)를 이례적으로 플래그를 지정
  • BreakoutDetection은 패턴 변경의 정확한 위치를 파악할 수 있음

 

 

 

4️⃣.1 Strengths and limitations of our solution

• VM 및 호스트 성능 메트릭을 모니터링하기 위한 이상 감지 워크플로우를 제시
• 솔루션은 두 가지 기계 학습 알고리즘
  • 포인트 이상 탐지를 위한 칼만 필터
  • 집단 이상 탐지를 위한 DBSCAN을 포함
  • 알고리즘은 Splunk MLTK의 일부로 패키지

 

---

• Strengths
  • 설계 고려 사항에 맞는 이상 감지 솔루션을 구축
• Automated 
  • Kalman Filter 및 DBSCAN 메서드는 수동 조정 없이 실행
  • 자동으로 "정상적인" 행동의 패턴을 학습한 다음 전형적이지 않은 인스턴스를 식별
• Complex
  • 다양한 워크로드 패턴(예: 시간대 또는 평일에 기반)을 반영하는 적응형 이상 감지 임계값을 만듦
  • 솔루션은 또한 패턴 변화를 감지하고 적응
• Adaptive
  
  • 매주 모델을 재교육하여 새로 수집된 데이터를 활용
  • DBSCAN을 사용하여 메트릭의 워크로드 패턴이 변경되면 Kalman Filter 모델이 자동으로 업데이트되어 최신 패턴이 반영
• Flexible
  • NAT은 몇 가지 워크로드 패턴에 대해 솔루션을 검증
  • NAT은 솔루션을 vSphere 환경 전반의 VM 및 호스트로 확장할 수 있다
• Streaming
  
  • 칼만 필터를 사용하면 실시간으로 포인트 이상을 감지
  • DBSCAN을 사용하면 매주 집단적 이상 징후를 탐지

 

=> 이 솔루션은 Splunk MLTK에 내장된 알고리즘을 사용하기 때문에 Splunk 환경에서 데이터 수집, 모델링, 이상 감지 및 알림과 같은 전체 분석 프로세스를 실행

 

• Limitations
  • NAT 솔루션은 다양한 성능 메트릭을 위해 VM 및 호스트에 걸쳐 확장할 수 있을 것으로 예상
  • 잠재적인 작업 부하 패턴이 무한하기 때문에 완전하지 않음