[v0.35]영상처리_특징 매칭(Feature Matching)

220118 작성

<본 블로그는 귀퉁이 서재님의 블로그를 참고해서 공부하며 작성하였습니다>

https://bkshin.tistory.com/entry/OpenCV-33-HOG-%EB%94%94%EC%8A%A4%ED%81%AC%EB%A6%BD%ED%84%B0HOG-Descriptor?category=1148027 

OpenCV - 33. HOG(Histogram of Oriented Gradient) 디스크립터

 

 

 

 

 

1. 기울기 벡터(Gradient Vectors)

: 기울기 벡터란 영상 내 하나의 픽셀을 기준으로 주변 픽셀에 대한 기울기를 나타내는 벡터

 

 https://chrisjmccormick.wordpress.com/2013/05/07/gradient-vectors/

 

: 빨간 점으로 표시된 픽셀을 기준으로 왼쪽의 Gray Scale 값은 56이고, 오른쪽의 값은 94

: Gray Scale의 경우 0이면 검은색이고 255이면 흰색

: Gray Scale 값 94가 56보다 밝음

: 빨간 점으로 표시된 픽셀 입장에서 x축 방향의 변화량(gx)은 (94 - 56) = 38

=> 이 값이 x축 방향 기울기 변화량

 https://chrisjmccormick.wordpress.com/2013/05/07/gradient-vectors/

 

: y축 방향,, 빨간 점을 기준으로 위쪽 Gray Scale 값은 93이고, 아래쪽 값은 55

=> y축 방향의 기울기 변화량은 (93 - 55) = 38

: x축 방향 기울기 변화량, y축 방향 기울기 변화량이 모두 38

=> x축 방향 기울기 변화량, y축 방향 기울기 변화량을 함께 표현한 값이 기울기 벡터(gradient vector)

 

기울기 벡터의 크기와 방향(각도) 계산

         크기는 53.74, 방향(각도)은 45도          < 크기와 방향을 벡터로 표시 >

 

 

 

 

2. 픽셀(Pixels), 셀(Cells), 블록(Blocks)

픽셀 : 말 그대로 영상 내 하나의 픽셀 값을 의미

셀 : 이 픽셀들을 몇 개 묶어서 소그룹으로 만든 것

블록 : 다시 셀을 몇 개 묶어서 그룹으로 만든 것

=> 하나의 블록 안에 셀 여러 개가 있고, 하나의 셀 안에 픽셀 여러 개가 있음

 

 

 

 

3. HOG(Histogram of Oriented Gradient)

: HOG는 보행자 검출을 위해 만들어진 특징 디스크립터

: HOG는 이미지 경계의 기울기 벡터 크기(magnitude)와 방향(direction)을 히스토그램으로 나타내 계산

: HOG 디스크립터를 만들기 위해서는 영상 속에서 검출하고자 하는 영역을 자름

: 잘라낸 영역을 윈도(window)

import cv2
import numpy as np

img = cv2.imread('img/jk.jpg')
img = np.float32(img) / 255.0

gx = cv2.Sobel(img, cv2.CV_32F, 1, 0)
gy = cv2.Sobel(img, cv2.CV_32F, 0, 1)
magnitude, angle = cv2.cartToPolar(gx, gy)

 https://www.researchgate.net/figure/Histogram-of-Oriented-Gradient-12_fig3_313369595

: 각 픽셀을 기준으로 기울기 벡터를 구해야함

: 화살표로 표시된 것이 기울기 벡터입

: 기울기 벡터의 크기와 방향을 히스토그램으로 나타낸 것

: 기울기 벡터의 방향을 계급(bin)으로 하고 크기를 값으로 누적한 히스토그램

: 계급(bin)은 180도를 20도씩 총 9개의 구간으로 나누어 사

: 360도가 아닌 180도로 하는 이유는 기울기의 양수와 음수가 같은 방향을 나타냄

: 윈도 전체를 하나의 히스토그램으로 계산하는 것이 아니라 하나의 셀을 기준으로 히스토그램을 계산

 

 

 

: 히스토그램 계산을 마치면 정규화(normalization) 과정을 거치기

: 경계 값 기울기는 밝기에 민감 => 민감성을 없애주려고 정규화

: 정규화를 적용하려면 윈도를 특정 크기로 나누기 => 나누는 영역을 블록(block)

: 블록 크기는 일반적으로 셀 크기의 2배

: 각 블록은 전체 윈도를 순회하면서 정규화 => 겹치는 부분이 발생하는데 이 부분을 블록 스트라이드(blcok stride)

 

=> 원본 영상에서 보행자에 해당하는 부분을 자른 영역을 윈도(window)

=> 사람을 검출할 때는 보통 64 x 128 크기로 윈도를 정함

=> 자른 윈도에서 각 픽셀에 대해 기울기 벡터를 구함

=> 특정 영역을 중심으로 기울기 벡터 크기와 방향에 대한 히스토그램을 구함

=> 히스토그램을 계산하기 위한 영역을 셀(cell) 셀은 보통 8 x 8 크기

=> 히스토그램을 계산한 뒤 정규화

=> 정규화하려면 윈도를 다시 잘게 나누어야 하는데, 이를 블록(block)

=> 블록 크기는 대게 셀 크기의 2배, 블록은 전체 윈도를 순회하면서 정규화하는데

=> 블록이 한번에 이동하는 거리를 블록 스트라이드(block stride)

 

 

 

 

 

 

4. HOG 디스크립터를 활용한 보행자 인식

descriptor = cv2.HOGDescriptor(winSize, blockSize, blockStride, cellSize, nbins)

: HOG 디스크립터 추출기 생성

: 미리 훈련된 SVM 모델(pretrained SVM model)을 전달받아 보행자를 추출 가능

 

- winSize : 윈도 크기, HOG 추출 영역
- blockSize : 블록 크기, 정규화 영역
- blockStride : 정규화 블록 겹침 크기
- cellSize : 셀 크기, 히스토그램 계산 영역
- nbins : 히스토그램 계급 수
- descriptor : HOG 특징 디스크립터 추출기

 

hog = descriptor.compute(img)

: HOG 계산

 

- img : 계산 대상 이미지
- hog : HOG 특징 디스크립터 결과

 

+ 보행자 인식을 위한 사전 훈련 API를 제공

scvmdetector = cv2.HOGDescriptor_getDefaultPeopleDetector() : 64 x 128 윈도 크기로 훈련된 모델

scvmdetector = cv2.HOGDescriptor_getDaimlerPeopleDetector() : 48 x 96 윈도 크기로 훈련된 모델

descriptor = cv2.HOGDescriptor(winSize, blockSize, blockStride, cellSize, nbins) : HOG 생성

descriptor.setSVMDetector(svmdetector) : 훈련된 SVM 모델 설정

rects, weights = descriptor.detectMultiScale(img) : 객체 검출
- img : 검출하고자 하는 이미지
- rects : 검출된 결과 영역 좌표 N x 4 (x, y, w, h)
- weights : 검출된 결과 계수 N x 1

# HOG-SVM 보행자 검출
import cv2

# default 디덱터를 위한 HOG 객체 생성 및 설정--- ①
hogdef = cv2.HOGDescriptor()
hogdef.setSVMDetector(cv2.HOGDescriptor_getDefaultPeopleDetector())

# dailer 디덱터를 위한 HOG 객체 생성 및 설정--- ②
hogdaim  = cv2.HOGDescriptor((48,96), (16,16), (8,8), (8,8), 9)
hogdaim.setSVMDetector(cv2.HOGDescriptor_getDaimlerPeopleDetector())

cap = cv2.VideoCapture('img/walking.mp4')
mode = True  # 모드 변환을 위한 플래그 변수 
print('Toggle Space-bar to change mode.')
while cap.isOpened():
    ret, img = cap.read()
    if ret :
        if mode:
            # default 디텍터로 보행자 검출 --- ③
            found, _ = hogdef.detectMultiScale(img)
            for (x,y,w,h) in found:
                cv2.rectangle(img, (x,y), (x+w, y+h), (0,255,255))
        else:
            # daimler 디텍터로 보행자 검출 --- ④
            found, _ = hogdaim.detectMultiScale(img)
            for (x,y,w,h) in found:
                cv2.rectangle(img, (x,y), (x+w, y+h), (0,255,0))
        cv2.putText(img, 'Detector:%s'%('Default' if mode else 'Daimler'), \
                        (10,50 ), cv2.FONT_HERSHEY_DUPLEX,1, (0,255,0),1)
        cv2.imshow('frame', img)
        key = cv2.waitKey(1) 
        if key == 27:
            break
        elif key == ord(' '):
            mode = not mode
    else:
        break
cap.release()
cv2.destroyAllWindows()

HOG 디스크립터를 이용해 Default 보행자 인식

HOG 디스크립터를 이용해 Daimler 보행자 인식

- Default 보행자 검출기와 Daimler 보행자 검출기를 이용해 보행자를 검출

- 스페이스 바를 누르면 검출기 변경 가능

- 노란색 박스로 보행자를 인식한 게 Default 보행자 검출기

- 초록색 박스로 보행자를 인식한 게 Daimler 보행자 검출기

- Default 보행자 검출기는 불필요한 검출이 적은 대신 멀리 있는 작은 보행자는 검출하지 못함

- Daimler 보행자 검출기는 멀리 있는 작은 보행자도 검출하지만 삼각대나 건물 그림자도 보행자로 인식

 

 

 

 

 

 

 

와우~ 동영상넘나 느리당

크기가 커서 많이 잘린다 ㅜㅡㅜ