영상 처리 분야에서 이상 탐지(Anomaly Detection)

221018 작성

<본 블로그는 cognex의 Anobmoly Detection 개요와 eehoeskrap님의 블로그를 참고해서 공부하며 작성하였습니다>

https://www.cognex.com/ko-kr/blogs/deep-learning/research/anomaly-detection-overview-1-introduction-anomaly-detection

Anomaly Detection 개요： (1) 이상치 탐지 분야에 대한 소개 및 주요 문제와 핵심 용어, 산업 현장 적

https://eehoeskrap.tistory.com/m/403

[Video Surveillance] 영상 감시 분야에서 이상 탐지(Anomaly Detection)

 

 

 

 

🧡1. 학습시 비정상 sample의 사용여부 및 label 유무에 따른 분류

Supervised Anomaly Detection

: 주어진 학습 데이터 셋에 정상 sample과 비정상 sample의 Data와 Label이 모두 존재하는 경우 Supervised Learning 방식

: 다른 방법 대비 정확도가 높은 특징이 있음

: 높은 정확도를 요구로 하는 경우에 주로 사용되며, 비정상 sample을 다양하게 보유할수록 더 높은 성능을 달성할 수 있음

: Anomaly Detection이 적용되는 일반적인 산업 현장에서는 정상 sample보다 비정상 sample의 발생 빈도가 현저히 적기 때문에 Class-Imbalance(불균형) 문제를 자주 겪게 됨

: 해결하기 위해 Data Augmentation(증강), Loss function 재설계, Batch Sampling 등 다양한 연구가 수행됨

• 장점: 양/불 판정 정확도가 높음
• 단점: 비정상 sample을 취득하는데 시간과 비용이 많이 듦, Class-Imbalance 문제를 해결해야 함

 

Semi-supervised (One-Class) Anomaly Detection

: Class-Imbalance가 매우 심한 경우 정상 sample만 이용해서 모델을 학습하기도 하는데, 이 방식을 One-Class Classification(혹은 Semi-supervised Learning)

: 정상 sample들을 둘러싸는 discriminative boundary를 설정하고, 이 boundary를 최대한 좁혀 boundary 밖에 있는 sample들을 모두 비정상으로 간주하는 것

: One-Class SVM 이 One-Class Classification을 사용하는 대표적인 방법

• 장점: 비교적 활발하게 연구가 진행되고 있으며, 정상 sample만 있어도 학습이 가능
• 단점: Supervised Anomaly Detection 방법론과 비교했을 때 상대적으로 양/불 판정 정확도가 떨어짐

 

Unsupervised Anomaly Detection

: 대부분의 데이터가 정상 sample이라는 가정을 하여 Label 취득 없이 학습을 시키는 Unsupervised Anomaly Detection

: 주어진 데이터에 대해 Principal Component Analysis(PCA, 주성분 분석)를 이용하여 차원을 축소하고 복원을 하는 과정을 통해 비정상 sample을 검출

: Neural Network 기반으로는 대표적으로 Autoencoder 기반의 방법론이 주로 사용

: Autoencoder는 입력을 code 혹은 latent variable로 압축하는 Encoding과, 이를 다시 원본과 가깝게 복원해내는 Decoding 과정으로 진행이 되며 이를 통해 데이터의 중요한 정보들만 압축적으로 배울 수 있음

• 장점: Labeling 과정이 필요하지 않음
• 단점: 양/불 판정 정확도가 높지 않고 hyper parameter에 매우 민감

 

 

 

 

🧡 2. 영상처리 분야에서의 이상탐지

• 스켈레톤(Skeleton) + 오토인코더를 이용한 이상 행위 탐지

: 논문 "Learning Regularity in Skeleton Trajectories for Anomaly Detection in Videos" 에서는 오토인코더를 사용하여 스켈레톤 궤적의 시공간 패턴을 특징으로 하는 오토인코더 형식의 규칙성(Regularity) 모델을 학습함으로써 이상 행위를 탐지

: 정상적인 행위와 비교하였을 때 특이한 스켈레톤의 자세를 취하게 되므로 이 차이를 식별하여 이상 행위를 탐지하게 되는데, 이 때 인간의 동작들은 주로 local factor 에 의해 영향을 받게 됨

: 원거리에서의 동작들은 global movement 으로 치부되어 미세한 움직임들은 대부분 무시된다는 문제점

: 스켈레톤의 움직임을 "global" 및 "local" 의 구성요소로 나누어 학습,  global 구성요소들은 바운딩 박스의 모양, 크기 및 변형이 거의 없는 큼지막한 움직임(rigid movement)에 대한 정보를 전달

: 반면 local 구성요소는 스켈레톤 움직임의 내부 변형들을 모델링하고 환경과 관련하여 스켈레톤의 절대 위치(absolute position)를 무시

 

• 비디오 정보 + 오토인코더를 이용한 이상 행위 탐지

: 모션 정보는 비디오에서 이상 행위를 탐지하기 위한 핵심이기 때문에 논문 "Motion-Aware Feature for Improved Video Anomaly Detection" 에서는 모션을 인식하기 위한 temporal augmented network 를 제안

: attention block 을 사용하여 Multiple Instance Learning(MIL) ranking model과 통합

: 학습된 attention weight 는 이상 행위를 담은 비디오와 일반 비디오를 잘 구분함 

( attention block 은 말 그대로 인코더에서 해당 비디오를 더욱더 집중해서 참고한다는 것)

: 차별점은 attention block 을 사용하여 MIL 손실과 함께 사용되어 temporal context 를 학습에 통합시킨다는 것인데, 위 그림 (a)와 같이 강도가 든 상황에서 주의를 기울이지 않으면 파란색 그래프와 같이 500 ~ 1600 프레임까지의 이상 상황을 정상이라고 판단

: attention block 을 사용할 경우 녹색 그래프와 같이 해당 프레임에서 이상 상황을 감지

: 정상 상황 (b) 에서는 attention block 이 없을 경우 중간에 두개로 그룹화되는 현상이 발생하여 오인할 수 있는 상황이 발생하는 반면, attention block 이 존재할 경우에는 그러한 현상이 발생하지 않음

 

 

• 종합 정보(객체 탐지 + 오토인코더 + time-stamp 등)를 이용한 이상 탐지

: 비디오에서 이상 탐지는 비정상 이벤트 발생이 드물고, 다른 유형의 이상 동작이 일관되지 않고 정상 및 비정상 시나리오에 대해 사용 가능한 데이터가 매우 불균형하기 때문에 까다로운 문제

: 교통 상황에서 비정상 상황은 시간, 장소 및 환경에 따라 달라질 수 있다. 예를 들어 도로에서 자동차를 운전하는 것은 정상이지만, 고속도로에서 정체된 자동차는 이상으로 간주

: 이와는 달리 주차장에서 움직이지 않는 자동차는 비정상행동이라고 판단하지 않움

: 적절한 특징 추출, 정상 교통 상황 정의, 정상 및 비정상 데이터의 클래스 불균형 분포 처리, 비정상 동작의 변화 해결, 비정상적인 이벤트의 발생 감소, 환경 변화, 카메라 움직임 등이 앞으로 해결해야하는 과제

: 논문 "Challenges in Time-Stamp Aware Anomaly Detection in Traffic Videos" 에 의하면 이상 상황을 탐지하기 위해 비디오의 모션 패턴을 학습하는 3단계의 파이프라인을 제안

: 위 그림 신경망 처럼, 움직임이 없는 객체를 식별하기 위해 최근 프레임으로부터 배경을 추출

: 신경망은 정적 객체와 동적 객체를 구분하기 위하여 마지막 몇 프레임에서 객체 움직임을 학습

: 이러한 배경 이미지는 프레임 내에서 정상 및 비정상 동작을 localization 하는데 사용됨

: 그 다음 추정된 배경에서 관심 대상을 검출

: 관심 대상은 차량 및 신호등 등이 포함될 수 있는데, 이는 종합적인 상황 인식을 위함

: 마지막 단계에서는 시간적으로 일치하지 않는 오탐지를 제거하는 알고리즘을 제안하였는데, 이 time-stamp aware anomaly detection 알고리즘에 기초하여 교통 상황에서의 이상 탐지를 수행하게 됨