[v0.13]영상처리_2차원 히스토그램과 역투영

220105 작성

<본 블로그는 귀퉁이 서재님의 블로그를 참고해서 공부하며 작성하였습니다>

https://bkshin.tistory.com/entry/OpenCV-11-2%EC%B0%A8%EC%9B%90-%ED%9E%88%EC%8A%A4%ED%86%A0%EA%B7%B8%EB%9E%A8%EA%B3%BC-%EC%97%AD%ED%88%AC%EC%98%81back-project?category=1148027 

OpenCV - 11. 2차원 히스토그램과 역투영(back project)

 

 

 

 

 

1. 2차원 히스토그램 (2D Histogram)

: 1차원 히스토그램은 이미지 안에 픽셀이 각각 몇 개인지를 표현

: 2차원 히스토그램은 축이 2개이고, 각 축이 만나는 지점의 개수를 표현

# 2D 히스토그램
import cv2
import matplotlib.pylab as plt

plt.style.use('classic')            # --①컬러 스타일을 1.x 스타일로 사용
img = cv2.imread('img/sunflower.jpg')

plt.subplot(131)
hist = cv2.calcHist([img], [0,1], None, [32,32], [0,256,0,256]) #--②
p = plt.imshow(hist)                                            #--③
plt.title('Blue and Green')                                     #--④
plt.colorbar(p)                                                 #--⑤


plt.subplot(132)
hist = cv2.calcHist([img], [1,2], None, [32,32], [0,256,0,256]) #--⑥
p = plt.imshow(hist)
plt.title('Green and Red')
plt.colorbar(p)

plt.subplot(133)
hist = cv2.calcHist([img], [0,2], None, [32,32], [0,256,0,256]) #--⑦
p = plt.imshow(hist)
plt.title('Blue and Red')
plt.colorbar(p)

plt.show()

RGB를 3쌍으로 분류해서 2차원 히스토그램

 

 

 

 

2. 역투영 (Back Projection)

: 관심 영역의 히스토그램과 유사한 히스토그램을 갖는 영역을 찾아내는 기법

: 역투영을 활용하면 이미지 내에서 특정 물체나 배경을 분리

: 분리하고 싶은 관심 영역(ROI, region of interest)을 지정하고 역투영을 적용

: 관심 영역은 흰색으로, 아닌 부분은 검은색으로 서로 분리

 

cv2.calcBackProject(img, channel, hist, ranges, scale)
- img : 입력 이미지, [img]처럼 리스트로 감싸서 사용
- channel : 처리할 채널, 리스트로 감싸서 사용
- hist : 역투영에 사용할 히스토그램
- ranges : 각 픽셀이 가질 수 있는 값의 범위
- scale : 결과에 적용할 배율 계수

 

masking() 함수

: 스레시홀딩과 마스킹을 활용하여 결과를 출력

: cv2.getStructuringElement()와 cv2.filter2D()는 마스크의 표면을 부드럽게 해주는 역할

# 마우스로 선택한 영역의 물체 분리하기
import cv2
import numpy as np
import matplotlib.pyplot as plt

win_name = 'back_projection'
img = cv2.imread('img/alpaca1.jpeg')
hsv_img = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
draw = img.copy()

#--⑤ 역투영된 결과를 마스킹해서 결과를 출력하는 공통함수
def masking(bp, win_name):
    disc = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))
    cv2.filter2D(bp,-1,disc,bp)
    _, mask = cv2.threshold(bp, 1, 255, cv2.THRESH_BINARY)
    result = cv2.bitwise_and(img, img, mask=mask)
    cv2.imshow(win_name, result)

#--⑥ 직접 구현한 역투영 함수
def backProject_manual(hist_roi):
    #--⑦ 전체 영상에 대한 H,S 히스토그램 계산
    hist_img = cv2.calcHist([hsv_img], [0,1], None,[180,256], [0,180,0,256])
    #--⑧ 선택영역과 전체 영상에 대한 히스토그램 그램 비율계산
    hist_rate = hist_roi/ (hist_img + 1)
    #--⑨ 비율에 맞는 픽셀 값 매핑
    h,s,v = cv2.split(hsv_img)
    bp = hist_rate[h.ravel(), s.ravel()]
    # 비율은 1을 넘어서는 안되기 때문에 1을 넘는 수는 1을 갖게 함
    bp = np.minimum(bp, 1)
    # 1차원 배열을 원래의 shape로 변환
    bp = bp.reshape(hsv_img.shape[:2])
    cv2.normalize(bp,bp, 0, 255, cv2.NORM_MINMAX)
    bp = bp.astype(np.uint8)
    #--⑩ 역 투영 결과로 마스킹해서 결과 출력
    masking(bp,'result_manual')
 
# OpenCV API로 구현한 함수 ---⑪ 
def backProject_cv(hist_roi):
    # 역투영 함수 호출 ---⑫
    bp = cv2.calcBackProject([hsv_img], [0, 1], hist_roi,  [0, 180, 0, 256], 1)
    # 역 투영 결과로 마스킹해서 결과 출력 ---⑬ 
    masking(bp,'result_cv')

# ROI 선택 ---①
(x,y,w,h) = cv2.selectROI(win_name, img, False)
if w > 0 and h > 0:
    roi = draw[y:y+h, x:x+w]
    # 빨간 사각형으로 ROI 영역 표시
    cv2.rectangle(draw, (x, y), (x+w, y+h), (0,0,255), 2)
    #--② 선택한 ROI를 HSV 컬러 스페이스로 변경
    hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
    #--③ H,S 채널에 대한 히스토그램 계산
    hist_roi = cv2.calcHist([hsv_roi],[0, 1], None, [180, 256], [0, 180, 0, 256] )
    #--④ ROI의 히스토그램을 매뉴얼 구현함수와 OpenCV 이용하는 함수에 각각 전달
    backProject_manual(hist_roi)
    backProject_cv(hist_roi)
cv2.imshow(win_name, draw)
cv2.waitKey()
cv2.destroyAllWindows()

역투영으로 알파카 추출하기

- 마우스로 관심영역을 선택한 뒤 엔터를 누르면 관심 영역에 해당하는 물체만 추출

- 관심 영역을 HSV 형식으로 변경

- 전체 이미지의 히스토그램으로 나누어 비율 구하기

( 비율 구하기 = 관심 영역과 비슷한 색상 분포를 갖는 히스토그램은 1에 가깝게, 아니면 0에 가깝게 )

 

- H, S 채널에 대한 2차원 히스토그램 만들기

( hist_rate는 히스토그램 비율을 값으로 가짐 )

( h와 s는 실제 이미지의 각 픽셀 )

( h와 s가 교차되는 지점의 비율을 그 픽셀 값으로 하는 1차원 배열 )

 

- 히스토그램을 직접 구현한 함수와 OpenCV 함수의 파라미터로 전달

- 사물을 분리할 수 있다!

- 관심 영역의 색상과 비슷한 물체 추출

- 관심 영역 외 부분의 색상이 비슷할 경우 효과 떨어짐

 

 

 

 

 

 

 

 

 

왕 신기하당

원하는 영역 추출 하기 ><