[v0.19]영상처리_ 필터와 컨볼루션 연산, 블러링

220108 작성

<본 블로그는 귀퉁이 서재님의 블로그를 참고해서 공부하며 작성하였습니다>

https://bkshin.tistory.com/entry/OpenCV-17-%ED%95%84%ED%84%B0Filter%EC%99%80-%EC%BB%A8%EB%B3%BC%EB%A3%A8%EC%85%98Convolution-%EC%97%B0%EC%82%B0-%ED%8F%89%EA%B7%A0-%EB%B8%94%EB%9F%AC%EB%A7%81-%EA%B0%80%EC%9A%B0%EC%8B%9C%EC%95%88-%EB%B8%94%EB%9F%AC%EB%A7%81-%EB%AF%B8%EB%94%94%EC%96%B8-%EB%B8%94%EB%9F%AC%EB%A7%81-%EB%B0%94%EC%9D%B4%EB%A0%88%ED%84%B0%EB%9F%B4-%ED%95%84%ED%84%B0?category=1148027 

OpenCV - 17. 필터(Filter)와 컨볼루션(Convolution) 연산, 평균 블러링, 가우시안 블러링, 미디언 블러링,

 

 

 

 

 

1. 필터 (Filter)와 컨볼루션 (Convolution)

공간 영역 필터링(spacial domain filtering)

: 새로운 픽셀 값을 얻을 때 하나의 픽셀 값이 아닌 그 주변 픽셀들의 값을 활용

: 연산 대상 픽셀과 그 주변 픽셀들을 활용하여 새로운 픽셀 값을 얻는 방법

 

블러링(Blurring)

: 기존의 영상을 흐릿하게 만드는 작업

 

커널(kernel)

: 주변 픽셀을 어느 범위까지 활용할지 그리고 연산은 어떻게 할지를 결정

: 윈도(window), 필터(filter), 마스크(mask)라고도 부른다

3 x 3 커널로 컨볼루션 연산

컨볼루션 연산

: 일대일로 대응하는 위치에 있는 커널의 요소와 대응하는 입력 픽셀 값을 곱해서 모두 합한 것을

결과 픽셀 값으로 결정

: 연산을 마지막 픽셀까지 반복

출처:&amp;amp;nbsp;https://www.slipp.net/wiki/pages/viewpage.action?pageId=26641520

dst = cv2.filter2D(src, ddepth, kernel, dst, anchor, delta, borderType)

: 컨볼루션 연산하기
- src : 입력 영상, Numpy 배열
- ddepth: 출력 영상의 dtype (-1: 입력 영상과 동일)
- kernel: 컨볼루션 커널, float32의 n x n 크기 배열
- dst(optional): 결과 영상
- anchor(optional): 커널의 기준점, default: 중심점 (-1, -1)
- delta(optional): 필터가 적용된 결과에 추가할 값borderType(optional): 외곽 픽셀 보정 방법 지정

 

 

 

 

 

2. 평균 블러링 (Average Blurring)

: 블러링은 초점이 맞지 않듯이 영상을 흐릿하게 하는 작업

: 평균 블러링은 주변 픽셀 값들의 평균을 적용

: 주변 픽셀들의 평균값을 적용하면 픽셀 간 차이가 적어져 선명도가 떨어져 전체적으로 흐릿하다

# 평균 필터를 생상하여 블러 적용
import cv2
import numpy as np

img = cv2.imread('img/night.jpg')
'''
#5x5 평균 필터 커널 생성    ---①
kernel = np.array([[0.04, 0.04, 0.04, 0.04, 0.04],
                   [0.04, 0.04, 0.04, 0.04, 0.04],
                   [0.04, 0.04, 0.04, 0.04, 0.04],
                   [0.04, 0.04, 0.04, 0.04, 0.04],
                   [0.04, 0.04, 0.04, 0.04, 0.04]])
'''
# 5x5 평균 필터 커널 생성  ---②
kernel = np.ones((5,5))/5**2
# 필터 적용             ---③
blured = cv2.filter2D(img, -1, kernel)

# 결과 출력
cv2.imshow('origin', img)
cv2.imshow('avrg blur', blured) 
cv2.waitKey()
cv2.destroyAllWindows()

&amp;amp;nbsp;5 x 5 평균 블러링 필터를 활용하여 컨볼루션 연산

# 5x5 평균 블러링 필터 커널 생성

kernel = np.ones((5,5))/5**2

- 5 x 5 필터의 요소 개수인 5**2(=25)로 나누기

 

출처:&amp;amp;nbsp;https://hsg2510.tistory.com/112

- 필터의 크기가 클수록 평균 블러링을 적용했을 때 선명도가 더 떨어진다

 

 

 

 

+) opencv 의 평균 블러링 함수

dst = cv2.blur(src, ksize, dst, anchor, borderType)

: 커널의 크기만 정해주면 알아서 평균 커널을 생성해서 평균 블러링을 적용한 영상을 출력

: 커널 크기는 일반적으로 홀수

- src : 입력 영상, numpy 배열
- ksize : 커널의 크기
- 나머지 파라미터는 cv2.filter2D()와 동일

 

dst = cv2.boxFilter(src, ddepth, ksize, dst, anchor, normalize, borderType)

: normalize에 True를 전달하면 cv2.blur() 함수와 동일한 기능

 

- ddepth : 출력 영상의 dtype (-1: 입력 영상과 동일)

- normalize(optional) : 커널 크기로 정규화(1/ksize²) 지정 여부 (Boolean), default=True

- 나머지 파라미터는 cv2.filter2D()와 동일

# 블러 전용 함수로 블러링 적용
import cv2
import numpy as np

file_name = 'img/taekwonv1.jpg'
img = cv2.imread(file_name)

# blur() 함수로 블러링  ---①
blur1 = cv2.blur(img, (10,10))
# boxFilter() 함수로 블러링 적용 ---②
blur2 = cv2.boxFilter(img, -1, (10,10))

# 결과 출력
merged = np.hstack( (img, blur1, blur2))
cv2.imshow('blur', merged)
cv2.waitKey(0)
cv2.destroyAllWindows()

&amp;amp;nbsp;cv2.blur() 함수와 cv2.boxFilter() 함수를 이용하여 평균 블러링

- 두 함수 동일한 이미지 출력 !

 

 

 

 

 

3. 가우시안 블러링(Gaussian Blurring)

: 가우시안 분포를 갖는 커널로 블러링 하는 것

: 가우시안 분포(gaussian distribution)란 정규 분포(normal distribution)이라고도 함

: 평균 근처에 몰려 있는 값들의 개수가 많고 평균에서 멀어질수록 그 개수가 적어지는 분포

: 가우시안 블러링 커널은 중앙값이 가장 크고 중앙에서 멀어질수록 그 값이 작아진다

출처:&amp;amp;nbsp;https://hsg2510.tistory.com/112

 

- 가우시안 블러링 커널을 적용하면 대상 픽셀에 가까울수록 많은 영향을 주고,

멀어질수록 적은 영향을 주기 때문에

원래의 영상과 비슷하면서도 노이즈를 제거하는 효과

 

cv2.GaussianBlur(src, ksize, sigmaX, sigmaY, borderType)

: 커널 크기와 표준 편차를 전달하면 가우시안 블러링을 적용

- src : 입력 영상
- ksize : 커널 크기 (주로 홀수)
- sigmaX : X 방향 표준편차 (0: auto)      -> 자동으로 표준편차를 선택해서 사용
- sigmaY(optional) : Y 방향 표준편차 (default: sigmaX)     -> 생략하면 sigmaX 값과 동일
- borderType(optional) : 외곽 테두리 보정 방식

 

ret = cv2.getGaussianKernel(ksize, sigma, ktype)

: 커널 크기와 표준 편차를 전달하면 가우시안 필터를 반환

: 반환된 필터는 1차원이므로 cv2.filter2D() 함수에 사용하려면 ret * ret.T와 같은 형식으로 전달

 

- ret : 가우시안 커널 (1차원이므로 ret * ret.T 형태로 사용해야 함)

# 가우시안 블러링
import cv2
import numpy as np

img = cv2.imread('img/gaussian_noise.jpg')

# 가우시안 커널을 직접 생성해서 블러링  ---①
k1 = np.array([[1, 2, 1],
                   [2, 4, 2],
                   [1, 2, 1]]) *(1/16)
blur1 = cv2.filter2D(img, -1, k1)

# 가우시안 커널을 API로 얻어서 블러링 ---②
k2 = cv2.getGaussianKernel(3, 0)
blur2 = cv2.filter2D(img, -1, k2*k2.T)

# 가우시안 블러 API로 블러링 ---③
blur3 = cv2.GaussianBlur(img, (3, 3), 0)

# 결과 출력
print('k1:', k1)
print('k2:', k2*k2.T)
merged = np.hstack((img, blur1, blur2, blur3))
cv2.imshow('gaussian blur', merged)
cv2.waitKey(0)
cv2.destroyAllWindows()

세 가지 방법의 가우시안 블러링

- 첫 번째는 가우시안 필터를 직접 생성해서 cv2.filter2D() 함수에 전달하여 블러링

- 두 번째는 cv2.getGaussianKernel() 함수를 이용해 가우시안 커널 얻고 cv2.filter2D() 함수에 전달하여 블러링

- 세 번째는 cv2.GaussianBlur() 함수를 활용하여 필터를 별도로 구하지 않고 직접 가우시안 블러링을 적용

- 가우시안 블러링은 노이즈를 제거하는 효과

 

 

 

 

 

4. 미디언 블러링(Median Blurring)

: 커널의 픽셀 값 중 중앙값을 선택하는 것

: 미디언 블러링은 소금-후추 잡음을 제거하는 효과

: 소금-후추 잡음이란 이미지에 소금과 후추를 뿌린 것과 같이 생긴 잡음

 

dst = cv2.medianBlur(src, ksize)
src: 입력 영상
ksize: 커널 크기

# 미디언 블러링
import cv2
import numpy as np

img = cv2.imread("img/salt_pepper_noise.jpg")

# 미디언 블러 적용 --- ①
blur = cv2.medianBlur(img, 5)

# 결과 출력 
merged = np.hstack((img,blur))
cv2.imshow('media', merged)
cv2.waitKey(0)
cv2.destroyAllWindows()

&amp;amp;nbsp;미디언 블러링을 적용하니 소금-후추 잡음이 제거

 

 

 

 

 

5. 바이레터럴 필터(Bilateral Filter)

: 경계를 흐릿하게 하는 문제를 보완

: 가우시안 필터와 경계 필터를 결합

: 경계도 뚜렷하고 노이즈도 제거되는 효과가 있지만 속도가 느리다

 

dst = cv2.bilateralFilter(src, d, sigmaColor, sigmaSpace, dst, borderType)
- src : 입력 영상
- d : 필터의 직경(diameter), 5보다 크면 매우 느림
- sigmaColor : 색공간의 시그마 값
- sigmaSpace : 좌표 공간의 시그마 값

# 바이레터럴 필터와 가우시안 필터 비교
import cv2
import numpy as np

img = cv2.imread("img/gaussian_noise.jpg")

# 가우시안 필터 적용 ---①
blur1 = cv2.GaussianBlur(img, (5,5), 0)

# 바이레터럴 필터 적용 ---②
blur2 = cv2.bilateralFilter(img, 5, 75, 75)

# 결과 출력
merged = np.hstack((img, blur1, blur2))
cv2.imshow('bilateral', merged)
cv2.waitKey(0)
cv2.destroyAllWindows()

&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;가우시안 필터&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 바이레터럴 필터

 

- 가우시안은 경계값 흐릿, 더 흐리멍텅..

- 바이레터럴은 노이즈 줄면서 경계값 유지, 가우시안보단 선명 뚜렷