[v0.27]영상처리_이미지 매칭 (Image Matching)

220113 작성

<본 블로그는 귀퉁이 서재님의 블로그를 참고해서 공부하며 작성하였습니다>

https://bkshin.tistory.com/entry/OpenCV-25-%EC%9D%B4%EB%AF%B8%EC%A7%80-%EB%A7%A4%EC%B9%AD-%ED%8F%89%EA%B7%A0-%ED%95%B4%EC%8B%9C-%EB%A7%A4%EC%B9%AD-%ED%85%9C%ED%94%8C%EB%A6%BF-%EB%A7%A4%EC%B9%AD?category=1148027 

OpenCV - 25. 이미지 매칭 (평균 해시 매칭, 템플릿 매칭)

 

 

 

 

1. 이미지 매칭(Image Matching)

: 서로 다른 두 이미지를 비교해서 짝이 맞는 같은 형태의 객체가 있는지 찾아내는 기술

: 이미지에서 객체를 찾는 방법은 이미지에서 의미 있는 특징들을 적절한 숫자로 변환하고

그 숫자들을 서로 비교해서 얼마나 비슷한지 판단하는 것

: 두 이미지 간 유사도를 측정

: 특징을 대표할 수 있는 숫자를 특징 벡터 혹은 특징 디스크립터

 

 

 

 

2. 평균 해시 매칭(Average Hash Matching)

: 이미지 매칭의 한 기법

: 특징 벡터를 구하기 위해 평균값을 사용

: 두 이미지 사이에서 비슷한 그림을 찾기 전에 찾고자 하는 그림의 특징 벡터를 구하는 방법

    1) 이미지를 가로 세로 비율과 무관하게 특정한 크기로 축소

    2) 픽셀 전체의 평균값을 구해서 각 픽셀의 값이 평균보다 작으면 0, 크면 1로 바꾸기

    3) 또는 1로만 구성된 각 픽셀 값을 1행 1열로 변환 (이는 한 개의 2진수 숫자로 보기)

 

: 비교를 하고자 하는 두 이미지를 같은 크기로 축소

: 0과 1의 개수도 동일 (2진수로 표현했을 때 비트 개수가 같다)

# 권총을 평균 해시로 변환
import cv2

#영상 읽어서 그레이 스케일로 변환
img = cv2.imread('img/pistol.jpeg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 8x8 크기로 축소 ---①
gray = cv2.resize(gray, (16,16))
# 영상의 평균값 구하기 ---②
avg = gray.mean()
# 평균값을 기준으로 0과 1로 변환 ---③
bin = 1 * (gray > avg)
print(bin)

# 2진수 문자열을 16진수 문자열로 변환 ---④
dhash = []
for row in bin.tolist():
    s = ''.join([str(i) for i in row])
    dhash.append('%02x'%(int(s,2)))
dhash = ''.join(dhash)
print(dhash)

cv2.namedWindow('pistol', cv2.WINDOW_GUI_NORMAL)
cv2.imshow('pistol', img)
cv2.waitKey(0)

권총 이미지를 16 x 16 크기의 평균 해시로 변환하여 특징 벡터를 구하기

1) 이미지를 16 x 16 사이즈로 조정

2) 픽셀의 전체 평균값을 구하고 그 평균값보다 큰 픽셀은 1, 작은 픽셀은 0으로 바꾸기

3) 결과, 0과 1로 구성된 배열

4) 0으로 구성된 부분이 권총 모양을 닮았음

5) 권총은 검은색이므로 픽셀 값이 0에 가깝고, 배경은 픽셀 값이 255에 가깝다

6) 전체 픽셀의 평균값보다 작은 부분은 0, 큰 부분은 1로 바뀐 것

 

- 다른 이미지의 것과 비교해서 얼마나 비슷한지를 알아내야 한다

- 비슷한 정도를 측정하는 방법

 

• 유클리드 거리(Euclidian distance)
  • 두 값의 차이로 거리를 계산
  • 유클리드 거리가 작을수록 두 수는 비슷한 수
  • 5와 비교할 값으로 1과 7이 있다면 5와 1의 유클리드 거리는 5-1 = 4, 5와 7의 유클리드 거리는 7-5 = 2
• 해밍 거리(Hamming distance)
  • 두 값의 길이가 같아야 계산
  • 두 수의 같은 자리 값 중 서로 다른 것이 몇 개인지를 판단하여 유사도를 계산
  • 12345와 비교할 값으로 12354와 92345가 있을 때 12345와 12354의 마지막 자리가 45와 54로 다르므로 해밍 거리는 2입니다. 반면 12345와 92345는 1과 9 한자리만 다르므로 해밍 거리는 1

: 유클리드 거리는 자릿수가 높을수록 차이가 크게 벌어진다

: 해밍 거리는 몇 개의 숫자가 다른가만을 고려

: 이미지를 비교하는데 평균 해시 숫자의 크기가 중요하기보다는 얼마나 유사한 자릿수가 많은지가 더 중요

# 사물 이미지 중에서 권총 이미지 찾기
import cv2
import numpy as np
import glob

# 영상 읽기 및 표시
img = cv2.imread('img/pistol.jpeg')
cv2.imshow('query', img)

# 비교할 영상들이 있는 경로 ---①
search_dir = 'img/101_ObjectCategories'

# 이미지를 16x16 크기의 평균 해쉬로 변환 ---②
def img2hash(img):
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    gray = cv2.resize(gray, (16, 16))
    avg = gray.mean()
    bi = 1 * (gray > avg)
    return bi

# 해밍거리 측정 함수 ---③
def hamming_distance(a, b):
    a = a.reshape(1,-1)
    b = b.reshape(1,-1)
    # 같은 자리의 값이 서로 다른 것들의 합
    distance = (a !=b).sum()
    return distance

# 권총 영상의 해쉬 구하기 ---④
query_hash = img2hash(img)

# 이미지 데이타 셋 디렉토리의 모든 영상 파일 경로 ---⑤
img_path = glob.glob(search_dir+'/**/*.jpg')
for path in img_path:
    # 데이타 셋 영상 한개 읽어서 표시 ---⑥
    img = cv2.imread(path)
    cv2.imshow('searching...', img)
    cv2.waitKey(5)
    # 데이타 셋 영상 한개의 해시  ---⑦
    a_hash = img2hash(img)
    # 해밍 거리 산출 ---⑧
    dst = hamming_distance(query_hash, a_hash)
    if dst/256 < 0.25: # 해밍거리 25% 이내만 출력 ---⑨
        print(path, dst/256)
        cv2.imshow(path, img)
cv2.destroyWindow('searching...')
cv2.waitKey(0)
cv2.destroyAllWindows()

- 권총 이미지를 비교하여 권총과 유사한 이미지를 찾아내기

- 권총의 평균 해시와 비교하여 해밍 거리가 25% 이내인 이미지를 출력

- 망원경 나왔땽,,!!

 

 

 

 

 

3. 템플릿 매칭 (Template Matching)

: 특정 물체에 대한 이미지를 준비해 두고 그 물체가 포함되어 있을 것이라고

예상할 수 있는 이미지와 비교하여 매칭 되는 위치를 찾는 것

: 미리 준비한 이미지를 템플릿 이미지

: 템플릿 이미지는 비교할 이미지보다 크기가 항상 작아야함

 

result = cv2.matchTemplate(img, templ, method, result, mask)

: 입력 이미지(img)에서 템플릿 이미지(templ)를 슬라이딩하면서 주어진 메서드에 따라 매칭을 수행

: 반환 값은 (W - w + 1) x (H - h + 1) 크기의 2차원 배열

: 이 배열의 최대, 최소 값을 구하면 원하는 최선의 매칭 값과 매칭점을 구한다

 

- img : 입력 이미지
- templ : 템플릿 이미지
- method : 매칭 메서드

• cv2.TM_SQDIFF : 제곱 차이 매칭, 완벽 매칭 : 0, 나쁜 매칭 : 큰 값
• cv2.TM_SQDIFF_NORMED : 제곱 차이 매칭의 정규화
• cv2.TM_CCORR : 상관관계 매칭, 완벽 매칭 : 큰 값, 나쁜 매칭 : 0
• cv2.TM_CCORR_NORMED : 상관관계 매칭의 정규화
• cv2.TM_CCOEFF : 상관계수 매칭, 완벽 매칭 : 1, 나쁜 매칭 : -1
• cv2.TM_CCOEFF_NORMED : 상관계수 매칭의 정규화

- result(optional) : 매칭 결과, (W - w + 1) x (H - h + 1) 크기의 2차원 배열

[여기서 W, H는 입력 이미지의 너비와 높이, w, h는 템플릿 이미지의 너비와 높이]

- mask(optional) : TM_SQDIFF, TM_CCORR_NORMED인 경우 사용할 마스크

 

minVal, maxVal, minLoc, maxLoc = cv2.minMaxLoc(src, mask)

: 입력 배열에서의 최소, 최대 값뿐만 아니라 최소 값, 최대 값의 좌표도 반환

 

- src : 입력 1 채널 배열
- minVal, maxVal : 배열 전체에서의 최소 값, 최대 값
- minLoc, maxLoc : 최소 값과 최대 값의 좌표 (x, y)

# 템플릿 매칭으로 객체 위치 검출
import cv2
import numpy as np

# 입력이미지와 템플릿 이미지 읽기
img = cv2.imread('img/figures.jpg')
template = cv2.imread('img/taekwonv1.jpg')
th, tw = template.shape[:2]
cv2.imshow('template', template)

# 3가지 매칭 메서드 순회
methods = ['cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR_NORMED', \
                                     'cv2.TM_SQDIFF_NORMED']
for i, method_name in enumerate(methods):
    img_draw = img.copy()
    method = eval(method_name)
    # 템플릿 매칭   ---①
    res = cv2.matchTemplate(img, template, method)
    # 최대, 최소값과 그 좌표 구하기 ---②
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    print(method_name, min_val, max_val, min_loc, max_loc)

    # TM_SQDIFF의 경우 최소값이 좋은 매칭, 나머지는 그 반대 ---③
    if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
        top_left = min_loc
        match_val = min_val
    else:
        top_left = max_loc
        match_val = max_val
    # 매칭 좌표 구해서 사각형 표시   ---④      
    bottom_right = (top_left[0] + tw, top_left[1] + th)
    cv2.rectangle(img_draw, top_left, bottom_right, (0,0,255),2)
    # 매칭 포인트 표시 ---⑤
    cv2.putText(img_draw, str(match_val), top_left, \
                cv2.FONT_HERSHEY_PLAIN, 2,(0,255,0), 1, cv2.LINE_AA)
    cv2.imshow(method_name, img_draw)
cv2.waitKey(0)
cv2.destroyAllWindows()

 로봇 태권 V를 다른 이미지 내에서 템플릿 매칭 방식으로 찾기

- cv2.TM_SQDIFF_NORMED : 제곱 차이 매칭의 정규화

=> 최소값이 좋은 매칭

- cv2.TM_CCORR_NORMED : 상관관계 매칭의 정규화

- cv2.TM_CCOEFF_NORMED : 상관계수 매칭의 정규화

 

 

 

 

 

후후...