[v0.17]영상처리_렌즈 왜곡하기

220108 작성

<본 블로그는 귀퉁이 서재님의 블로그를 참고해서 공부하며 작성하였습니다>

https://bkshin.tistory.com/entry/OpenCV-15-%EB%A6%AC%EB%A7%A4%ED%95%91Remapping-%EC%98%A4%EB%AA%A9%EB%B3%BC%EB%A1%9D-%EB%A0%8C%EC%A6%88-%EC%99%9C%EA%B3%A1Lens-Distortion-%EB%B0%A9%EC%82%AC-%EC%99%9C%EA%B3%A1Radial-Distortion?category=1148027 

OpenCV - 15. 리매핑(Remapping), 오목/볼록 렌즈 왜곡(Lens Distortion), 방사 왜곡(Radial Distortion)

 

 

 

1. 렌즈 왜곡 (Lens Distortion)

: 렌즈 왜곡 변환이 바로 변환 행렬로는 구할 수 없는 변환

: 렌즈 왜곡 변환에는 리매핑, 오목 렌즈/볼록 렌즈 왜곡, 방사 왜곡 있음

 

 

 

2. 리매핑 (Remapping)

: 규칙성 없이 마음대로 이미지의 모양을 변환

 

dst = cv2.remap(src, mapx, mapy, interpolation, dst, borderMode, borderValue)

- src : 입력 이미지

- mapx, mapy : x축과 y축으로 이동할 좌표, src와 동일한 크기, dtype=float32

- dst(optional) : 결과 이미지

- 나머지 인자는 cv2.warpAffine()과 동일

- np.indices() 함수를 쓰면 빠르게 초기화

- 반환된 결과의 0번 째가 행 배열, 1번 째가 열 배열

import numpy as np
print(np.indices((2,2)))
# [[[0 0]
#   [1 1]]

#  [[0 1]
#   [0 1]]]

print(np.indices((3, 3)))
# [[[0 0 0]
#   [1 1 1]
#   [2 2 2]]

#  [[0 1 2]
#   [0 1 2]
#   [0 1 2]]]

 

 

 

+) 이미지를 뒤집는 코드

: 변환 행렬과 cv2.remap() 함수 사용

x' = cols - x - 1
y' = rows - y - 1

: 뒤집기 위한 연산식

# 변환행렬과 리매핑으로 이미지 뒤집기
import cv2
import numpy as np
import time

img = cv2.imread('img/night.jpg')
rows, cols = img.shape[:2]

# 뒤집기 변환 행렬로 구현 ---①
st = time.time()
mflip = np.float32([ [-1, 0, cols-1],[0, -1, rows-1]]) # 변환 행렬 생성
fliped1 = cv2.warpAffine(img, mflip, (cols, rows))     # 변환 적용
print('matrix:', time.time()-st)

# remap 함수로 뒤집기 구현 ---②
st2 = time.time()
mapy, mapx = np.indices((rows, cols),dtype=np.float32) # 매핑 배열 초기화 생성
mapx = cols - mapx -1                                  # x축 좌표 뒤집기 연산
mapy = rows - mapy -1                                  # y축 좌표 뒤집기 연산
fliped2 = cv2.remap(img,mapx,mapy,cv2.INTER_LINEAR)  # remap 적용
print('remap:', time.time()-st2)

# 결과 출력 ---③
cv2.imshow('origin', img)
cv2.imshow('fliped1',fliped1)
cv2.imshow('fliped2',fliped2)
cv2.waitKey()
cv2.destroyAllWindows()

                                              뒤집기 변환 행렬               cv2.remap() 로 리매핑

- 변환행렬로 변환하는 것보다 cv2.remap()의 수행 속도가 더 느림

- 변환행렬로 표현할 수 없는 비선형 변환에만 cv2.remap() 사용

 

 

 

 

3. 삼각함수를 이용한 비선형 리매핑

# 삼각함수를 이용한 비선형 리매핑
import cv2
import numpy as np

l = 20      # 파장(wave length)
amp = 15    # 진폭(amplitude)

img = cv2.imread('img/taekwonv1.jpg')
rows, cols = img.shape[:2]

# 초기 매핑 배열 생성 ---①
mapy, mapx = np.indices((rows, cols),dtype=np.float32)

# sin, cos 함수를 적용한 변형 매핑 연산 ---②
sinx = mapx + amp * np.sin(mapy/l)  
cosy = mapy + amp * np.cos(mapx/l)

# 영상 매핑 ---③

img_sinx=cv2.remap(img, sinx, mapy, cv2.INTER_LINEAR) # x축만 sin 곡선 적용
img_cosy=cv2.remap(img, mapx, cosy, cv2.INTER_LINEAR) # y축만 cos 곡선 적용
# x,y 축 모두 sin, cos 곡선 적용 및 외곽 영역 보정
img_both=cv2.remap(img, sinx, cosy, cv2.INTER_LINEAR, \
                    None, cv2.BORDER_REPLICATE)
# 결과 출력 
cv2.imshow('origin', img)
cv2.imshow('sin x', img_sinx)
cv2.imshow('cos y', img_cosy)
cv2.imshow('sin cos', img_both)

cv2.waitKey()
cv2.destroyAllWindows()

x좌표, y좌표에 sin, cos 함수를 적용한 왜곡된 이미지

- cv2.BORDER_REPLICATE 파라미터로 외곽 보정까지 해주어 외곽의 사라진 영역이 보정

 

 

 

 

 

4. 오목 렌즈와 볼록 렌즈 왜곡

좌표 시스템을 직교 좌표계(Cartesian coordinate system)

: x축과 y축의 직각으로 각각 선을 그어서 만나는 지점을 좌표 (x, y)로 나타내기

: 기준점을 좌측 상단을 원점(0, 0)으로 정하기

 

극좌표계(Polar coordinate system)

: 원점으로부터의 거리(r)와 사잇각(Θ)을 이용해서 (r, Θ)로 나타내는 방법

: 기준점을 이미지의 중앙을 원점으로 정하기 ( 좌표의 값을 -1 ~ +1 로 정한다 ) 

출처: https://suhak.tistory.com/161

: r, theta = cv2.cartToPolar(x, y) : 직교 좌표 → 극좌표 변환

: x, y = cv2.polarToCart(r, theta) : 극좌표 → 직교 좌표 변환

# 볼록/오몬 렌즈 왜곡 효과
import cv2
import numpy as np

img = cv2.imread('img/taekwonv1.jpg')
print(img.shape)
rows, cols = img.shape[:2]

# ---① 설정 값 셋팅
exp = 0.5       # 볼록, 오목 지수 (오목 : 0.1 ~ 1, 볼록 : 1.1~)
scale = 1           # 변환 영역 크기 (0 ~ 1)

# 매핑 배열 생성 ---②
mapy, mapx = np.indices((rows, cols),dtype=np.float32)

# 좌상단 기준좌표에서 -1~1로 정규화된 중심점 기준 좌표로 변경 ---③
mapx = 2*mapx/(cols-1)-1
mapy = 2*mapy/(rows-1)-1

# 직교좌표를 극 좌표로 변환 ---④
r, theta = cv2.cartToPolar(mapx, mapy)

# 왜곡 영역만 중심확대/축소 지수 적용 ---⑤
r[r< scale] = r[r<scale] **exp  

# 극 좌표를 직교좌표로 변환 ---⑥
mapx, mapy = cv2.polarToCart(r, theta)

# 중심점 기준에서 좌상단 기준으로 변경 ---⑦
mapx = ((mapx + 1)*cols-1)/2
mapy = ((mapy + 1)*rows-1)/2
# 재매핑 변환
distorted = cv2.remap(img,mapx,mapy,cv2.INTER_LINEAR)

cv2.imshow('origin', img)
cv2.imshow('distorted', distorted)
cv2.waitKey()
cv2.destroyAllWindows()

왜곡 지수 변수를 1 : 원본                1보다 작으면 오목렌즈             1보다 크면 볼록렌즈       

- exp는 이미지의 왜곡 지수를 나타내는 변수

- scale은 이미지에서 렌즈 효과를 주고 싶은 원 모양 영역의 크기를 비율로 나타낸 것

 

 

 

 

5. 방사 왜곡

배럴 왜곡(barrel distortiaon)

: 카메라를 통해 이미지를 촬영할 때 카메라 가장자리 부분에서 약간의 왜곡

출처: http://truemind1.blogspot.com/2016/10/06-2-vr-distortion.html

핀쿠션 왜곡(pinsushion distortion)

: 가장자리 부분이 안쪽으로 들어가는 형태의 왜곡

출처: http://egloos.zum.com/eggry/v/4122911

# 배럴 왜곡, 핀쿠션 왜곡
import cv2
import numpy as np

# 왜곡 계수 설정 ---①
#k1, k2, k3 = 0.5, 0.2, 0.0 # 배럴 왜곡
k1, k2, k3 = -0.3, 0, 0    # 핀큐션 왜곡

img = cv2.imread('img/night.jpg')
rows, cols = img.shape[:2]

# 매핑 배열 생성 ---②
mapy, mapx = np.indices((rows, cols),dtype=np.float32)

# 중앙점 좌표로 -1~1 정규화 및 극좌표 변환 ---③
mapx = 2*mapx/(cols-1)-1
mapy = 2*mapy/(rows-1)-1
r, theta = cv2.cartToPolar(mapx, mapy)

# 방사 왜곡 변영 연산 ---④
ru = r*(1+k1*(r**2) + k2*(r**4) + k3*(r**6)) 

# 직교좌표 및 좌상단 기준으로 복원 ---⑤
mapx, mapy = cv2.polarToCart(ru, theta)
mapx = ((mapx + 1)*cols-1)/2
mapy = ((mapy + 1)*rows-1)/2
# 리매핑 ---⑥
distored = cv2.remap(img,mapx,mapy,cv2.INTER_LINEAR)

cv2.imshow('original', img)
cv2.imshow('pinsushion distortion', distored)
cv2.waitKey()
cv2.destroyAllWindows()

   원본                                   배럴 왜곡                               핀쿠션 왜곡

 -  k1, k2, k3 값에 따라 배럴 왜곡 or 핀쿠션 왜곡이 가능하다

 

 

 

 

 

신기방기~

배고프당