[v0.29]영상처리_특징 디스크립터 검출기

220115 작성

<본 블로그는 귀퉁이 서재님의 블로그를 참고해서 공부하며 작성하였습니다>

https://bkshin.tistory.com/entry/OpenCV-27-%ED%8A%B9%EC%A7%95-%EB%94%94%EC%8A%A4%ED%81%AC%EB%A6%BD%ED%84%B0-%EA%B2%80%EC%B6%9C%EA%B8%B0-SIFT-SURF-ORB?category=1148027 

OpenCV - 27. 특징 디스크립터 검출기 (SIFT, SURF, ORB)

 

 

 

특징점이란 말 그대로 이미지에서 특징이 되는 부분 == 키포인트 (keypoints)

 

1. 특징 디스크립터

: 이 특징점은 객체의 좌표뿐만 아니라 그 주변 픽셀과의 관계에 대한 정보를 가진다

: 가장 대표적인 것이 size와 angle 속성이며, 코너(corner)점인 경우 코너의 경사도와 방향도 속성으로 가짐

: 특징 디스크립터(feature descriptor)란

특징점 주변 픽셀을 일정한 크기의 블록으로 나누어 각 블록에 속한 픽셀의 그레디언트 히스토그램을 계산한 것

주로 특징점 주변의 밝기, 색상, 방향, 크기 등의 정보가 포함

: 추출하는 알고리즘에 따라 특징 디스크립터가 일부 달라질 수는 있음

: 일반적으로 특징점 주변의 블록 크기에 8방향(상, 하, 좌, 우 및 네 방향의 대각선) 경사도를 표현하는 경우가 많음

: 4 x 4 크기의 블록인 경우 한 개의 특징점당 4 x 4 x 8 = 128개의 값을 가짐

 

keypoints, descriptors = detector.compute(image, keypoins, descriptors)

: 특징점을 전달하면 특징 디스크립터를 계산해서 반환

 

keypoints, descriptors = detector.detectAndCompute(image, mask, decriptors, useProvidedKeypoints)

: 특징점 검출과 특징 디스크립터 계산을 한 번에 수행

 

- image : 입력 이미지
- keypoints : 디스크립터 계산을 위해 사용할 특징점
- descriptors(optional) : 계산된 디스크립터
- mask(optional) : 특징점 검출에 사용할 마스크
- useProvidedKeypoints(optional) : True인 경우 특징점 검출을 수행하지 않음

 

detector.compute() 함수

: 특징 디스크립터를 구함

: keypoints 파라미터에 특징점을 전달

: 특징점 검출기로 특징점을 한번 검출하고, 그다음 detector.compute() 함수를 사용

 

detector.detectAndCompute() 함수

: 특징점과 특징 디스크립터를 동시에 계산

: 처음부터 detector.detectAndCompute() 함수를 사용하는 게 더 편리

 

 

 

 

2. SIFT, SURF, ORB는 모두 특징 디스크립터를 구해주는 알고리즘

1) SIFT (Scale-Invariant Feature Transform)

: 기존의 해리스 코너 검출 알고리즘은 크기 변화에 민감한 문제를 가짐

: SIFT는 이미지 피라미드를 이용해서 크기 변화에 따른 특징점 검출 문제를 해결

 

detector = cv2.xfeatures2d.SIFT_create(nfeatures, nOctaveLayers, contrastThreshold, edgeThreshold, sigma)
- nfeatures : 검출 최대 특징 수
- nOctaveLayers : 이미지 피라미드에 사용할 계층 수
- contrastThreshold : 필터링할 빈약한 특징 문턱 값
- edgeThreshold : 필터링할 엣지 문턱 값
- sigma : 이미지 피라미드 0 계층에서 사용할 가우시안 필터의 시그마 값

# SIFT로 특징점 및 디스크립터 추출
import cv2
import numpy as np

img = cv2.imread('img/house.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# SIFT 추출기 생성
sift = cv2.xfeatures2d.SIFT_create()
# 키 포인트 검출과 서술자 계산
keypoints, descriptor = sift.detectAndCompute(gray, None)
print('keypoint:',len(keypoints), 'descriptor:', descriptor.shape)
print(descriptor)

# 키 포인트 그리기
img_draw = cv2.drawKeypoints(img, keypoints, None, \
                flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
# 결과 출력
cv2.imshow('SIFT', img_draw)
cv2.waitKey()
cv2.destroyAllWindows()

크고 작은 아름다운 특징점

특징점 : 413개, 특징점 1개 당 128개의 특징 디스크립터 값 사용

 

 

 

2) SURF (Speeded Up Robust Features)

: SIFT는 크기 변화에 따른 특징 검출 문제를 해결하기 위해 이미지 피라미드를 사용하므로 속도가 느리다

: SURF는 이미지 피라미드 대신 필터의 크기를 변화시키는 방식으로 성능을 개선

 

detector = cv2.xfeatures2d.SURF_create(hessianThreshold, nOctaves, nOctaveLayers, extended, upright)
- hessianThreshold(optional) : 특징 추출 경계 값 (default=100)
- nOctaves(optional) : 이미지 피라미드 계층 수 (default=3)
- extended(optional) : 디스크립터 생성 플래그 (default=False), True: 128개, False: 64개
- upright(optional) : 방향 계산 플래그 (default=False), True: 방향 무시, False: 방향 적용

# SURF로 특징점 및 특징 디스크립터 추출
import cv2
import numpy as np

img = cv2.imread('img/house.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# SURF 추출기 생성 ( 경계:1000, 피라미드:3, 서술자확장:True, 방향적용:True)
surf = cv2.xfeatures2d.SURF_create(1000, 3, True, True)

# 키 포인트 검출 및 서술자 계산
keypoints, desc = surf.detectAndCompute(gray, None)
print(desc.shape, desc)
# 키포인트 이미지에 그리기
img_draw = cv2.drawKeypoints(img, keypoints, None, \
                flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

cv2.imshow('SURF', img_draw)
cv2.waitKey()
cv2.destroyAllWindows()

https://bkshin.tistory.com/entry/OpenCV-27-%ED%8A%B9%EC%A7%95-%EB%94%94%EC%8A%A4%ED%81%AC%EB%A6%BD%ED%84%B0-%EA%B2%80%EC%B6%9C%EA%B8%B0-SIFT-SURF-ORB?category=1148027

https://bkshin.tistory.com/entry/OpenCV-27-%ED%8A%B9%EC%A7%95-%EB%94%94%EC%8A%A4%ED%81%AC%EB%A6%BD%ED%84%B0-%EA%B2%80%EC%B6%9C%EA%B8%B0-SIFT-SURF-ORB?category=1148027

- opencv 버전이 안맞아서 에러가 난다

- 특징점 : 104개, 각 특징점마다 128개의 디스크립터 값 사용

 

 

 

 

3) ORB (Oriented and Rotated BRIEF)

: 디스크립터 검출기 중 BRIEF(Binary Robust Independent Elementary Features)라는 것이 있음

: BRIEF는 특징점 검출은 지원하지 않는 디스크립터 추출기

: BRIEF에 방향과 회전을 고려하도록 개선한 알고리즘이 바로 ORB

: 특징점 검출 알고리즘으로 FAST를 사용하고 회전과 방향을 고려하도록 개선했으며 속도도 빨라 SIFT와 SURF의 좋은 대안으로 사용

 

detector = cv2.ORB_create(nfeatures, scaleFactor, nlevels, edgeThreshold, firstLevel, WTA_K, scoreType, patchSize, fastThreshold)
- nfeatures(optional) : 검출할 최대 특징 수 (default=500)
- scaleFactor(optional) : 이미지 피라미드 비율 (default=1.2)
- nlevels(optional) : 이미지 피라미드 계층 수 (default=8)
- edgeThreshold(optional) : 검색에서 제외할 테두리 크기, patchSize와 맞출 것 (default=31)
- firstLevel(optional) : 최초 이미지 피라미드 계층 단계 (default=0)
- WTA_K(optional) : 임의 좌표 생성 수 (default=2)
- scoreType(optional) : 특징점 검출에 사용할 방식

• cv2.ORB_HARRIS_SCORE : 해리스 코너 검출(default)
• cv2.ORB_FAST_SCORE : FAST 코너 검출

- patchSize(optional) : 디스크립터의 패치 크기 (default=31)
- fastThreshold(optional) : FAST에 사용할 임계 값 (default=20)

# ORB로 특징점 및 특징 디스크립터 검출
import cv2
import numpy as np

img = cv2.imread('img/house.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# ORB 추출기 생성
orb = cv2.ORB_create()
# 키 포인트 검출과 서술자 계산
keypoints, descriptor = orb.detectAndCompute(img, None)
# 키 포인트 그리기
img_draw = cv2.drawKeypoints(img, keypoints, None, \
             flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
# 결과 출력
cv2.imshow('ORB', img_draw)
cv2.waitKey()
cv2.destroyAllWindows()

오잉 이게 머람

- 뭔가 좋아보이진 않는데..

- none 으로 해서 그런가

 

# ORB 추출기 생성
orb = cv2.ORB_create(100, 1.2, 8, 31, 0, 2, cv2.ORB_FAST_SCORE, 31, 20)

- 이거 추가 했더니..

검출 특징 최대 100개로 지정, fast 코너 검출