[v0.16]영상처리_이미지 뒤틀기

220107 작성

<본 블로그는 귀퉁이 서재님의 블로그를 참고해서 공부하며 작성하였습니다>

https://bkshin.tistory.com/entry/OpenCV-14-%EC%9D%B4%EB%AF%B8%EC%A7%80-%EB%92%A4%ED%8B%80%EA%B8%B0%EC%96%B4%ED%95%80-%EB%B3%80%ED%99%98-%EC%9B%90%EA%B7%BC-%EB%B3%80%ED%99%98?category=1148027 

OpenCV - 14. 이미지 뒤틀기(어핀 변환, 원근 변환)

 

 

 

 

 

1. 어핀 변환 (Affine Transform)

: 뒤틀기

 

martix = cv2.getAffineTransform(pts1, pts2)

: 이미지를 2차원으로 뒤트는 변환

: 3개의 좌표인 pts1이 pts2로 위치가 변한 만큼 이미지를 뒤튼다

- pts1 : 변환 전 영상의 좌표 3개, 3 x 2 배열

- pts2 : 변환 후 영상의 좌표 3개, 3 x 2 배열

- matrix : 변환 행렬 반환, 2 x 3 행렬

# 어핀 변환
import cv2
import numpy as np
from matplotlib import pyplot as plt

file_name = 'img/hobbang2.jpeg'
img = cv2.imread(file_name)
rows, cols = img.shape[:2]

# ---① 변환 전, 후 각 3개의 좌표 생성
pts1 = np.float32([[100, 50], [200, 50], [100, 200]])
pts2 = np.float32([[80, 70], [210, 60], [250, 120]])

# ---② 변환 전 좌표를 이미지에 표시
cv2.circle(img, (100,50), 5, (255,0), -1)
cv2.circle(img, (200,50), 5, (0,255,0), -1)
cv2.circle(img, (100,200), 5, (0,0,255), -1)

#---③ 짝지은 3개의 좌표로 변환 행렬 계산
mtrx = cv2.getAffineTransform(pts1, pts2)
#---④ 어핀 변환 적용
dst = cv2.warpAffine(img, mtrx, (int(cols*1.5), rows))

#---⑤ 결과 출력
cv2.imshow('origin',img)
cv2.imshow('affin', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

어핀 변환으로 이미지 뒤틀기

- 어핀 변환 전후 3개의 좌표만 지정해주면 변환 행렬 가능

 

 

 

 

2. 원근 변환 (Perspective Transform)

: 이미지를 3차원으로 변환

: 멀리 있는 것은 작게 보이고, 가까이 있는 것은 크게 보이는 게 원근법

: 원근법의 원리를 적용해 변환하는 방식이 원근 변환

 

mtrx = cv2.getPerspectiveTransform(pts1, pts2)
- pts1 : 변환 이전 영상의 좌표 4개, 4 x 2 배열
- pts2 : 변환 이후 영상의 좌표 4개, 4 x 2 배열
- mtrx : 변환행렬 반환, 3 x 3 행렬

- 원근 변환은 별도의 함수 cv2.warpPerspective() 함수쓰기

# 원근 변환 
import cv2
import numpy as np

file_name = 'img/hobbang2.jpeg'
img = cv2.imread(file_name)
rows, cols = img.shape[:2]

#---① 원근 변환 전 후 4개 좌표
pts1 = np.float32([[0,0], [0,rows], [cols, 0], [cols,rows]])
pts2 = np.float32([[100,50], [10,rows-50], [cols-100, 50], [cols-10,rows-50]])

#---② 변환 전 좌표를 원본 이미지에 표시
cv2.circle(img, (0,0), 10, (255,0,0), -1)
cv2.circle(img, (0,rows), 10, (0,255,0), -1)
cv2.circle(img, (cols,0), 10, (0,0,255), -1)
cv2.circle(img, (cols,rows), 10, (0,255,255), -1)

#---③ 원근 변환 행렬 계산
mtrx = cv2.getPerspectiveTransform(pts1, pts2)
#---④ 원근 변환 적용
dst = cv2.warpPerspective(img, mtrx, (cols, rows))

cv2.imshow("origin", img)
cv2.imshow('perspective', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

원근 변환으로 이미지 뒤틀기

- 네 개의 좌표로 원근법 처럼 이미지 변경!

 

 

 

+) 원근 변환으로 원근감 이미지를 평면 이미지로 변경하기

# 마우스와 원근 변환으로 문서 스캔 효과 내기
import cv2
import numpy as np

win_name = "scanning"
img = cv2.imread("img/Perspective1.jpg")
rows, cols = img.shape[:2]
draw = img.copy()
pts_cnt = 0
pts = np.zeros((4,2), dtype=np.float32)

def onMouse(event, x, y, flags, param):  #마우스 이벤트 콜백 함수 구현 ---① 
    global  pts_cnt                     # 마우스로 찍은 좌표의 갯수 저장
    if event == cv2.EVENT_LBUTTONDOWN:  
        cv2.circle(draw, (x,y), 10, (0,255,0), -1) # 좌표에 초록색 동그라미 표시
        cv2.imshow(win_name, draw)

        pts[pts_cnt] = [x,y]            # 마우스 좌표 저장
        pts_cnt+=1
        if pts_cnt == 4:                       # 좌표가 4개 수집됨 
            # 좌표 4개 중 상하좌우 찾기 ---② 
            sm = pts.sum(axis=1)                 # 4쌍의 좌표 각각 x+y 계산
            diff = np.diff(pts, axis = 1)       # 4쌍의 좌표 각각 x-y 계산

            topLeft = pts[np.argmin(sm)]         # x+y가 가장 값이 좌상단 좌표
            bottomRight = pts[np.argmax(sm)]     # x+y가 가장 큰 값이 우하단 좌표
            topRight = pts[np.argmin(diff)]     # x-y가 가장 작은 것이 우상단 좌표
            bottomLeft = pts[np.argmax(diff)]   # x-y가 가장 큰 값이 좌하단 좌표

            # 변환 전 4개 좌표 
            pts1 = np.float32([topLeft, topRight, bottomRight , bottomLeft])

            # 변환 후 영상에 사용할 서류의 폭과 높이 계산 ---③ 
            w1 = abs(bottomRight[0] - bottomLeft[0])    # 상단 좌우 좌표간의 거리
            w2 = abs(topRight[0] - topLeft[0])          # 하당 좌우 좌표간의 거리
            h1 = abs(topRight[1] - bottomRight[1])      # 우측 상하 좌표간의 거리
            h2 = abs(topLeft[1] - bottomLeft[1])        # 좌측 상하 좌표간의 거리
            width = max([w1, w2])                       # 두 좌우 거리간의 최대값이 서류의 폭
            height = max([h1, h2])                      # 두 상하 거리간의 최대값이 서류의 높이
            
            # 변환 후 4개 좌표
            pts2 = np.float32([[0,0], [width-1,0], 
                                [width-1,height-1], [0,height-1]])

            # 변환 행렬 계산 
            mtrx = cv2.getPerspectiveTransform(pts1, pts2)
            # 원근 변환 적용
            result = cv2.warpPerspective(img, mtrx, (width, height))
            cv2.imshow('scanned', result)
cv2.imshow(win_name, img)
cv2.setMouseCallback(win_name, onMouse)    # 마우스 콜백 함수를 GUI 윈도우에 등록 ---④
cv2.waitKey(0)
cv2.destroyAllWindows()

원근 변환으로 평면 이미지 만들기

- 점 찍으면 되는 거 아닌가유...

- IndexError: index 4 is out of bounds for axis 0 with size 4 에러뜬당..

 

 

 

 

3. 삼각형 어핀 변환

1) OpenCV가 제공하는 기하학적 변환은 기본적으로 사각형이 기준

2) 삼각형 모양의 변환

• 1. 어핀 변환 전 삼각형 좌표 3개를 정한다.
• 2. 어핀 변환 후 삼각형 좌표 3개를 정한다.
• 3. 변환 전 삼각형 좌표를 감싸는 외접 사각형 좌표를 구한다.
• 4. 변환 후 삼각형 좌표를 감싸는 외접 사각형 좌표를 구한다.
• 5. 과정 3, 4의 사각형 영역을 관심 영역(ROI, regison of interest)으로 지정한다.
• 6. 과정 5의 관심 영역을 기준으로 변환 전, 후의 삼각형 좌표를 다시 계산한다.
• 7. 과정 6의 변환 전 삼각형 좌표를 변환 후 삼각형 좌표로 어핀 변환해주는 변환 행렬을 구한다.
• 8. 과정 7에서 구한 변환행렬을 적용해 어핀 변환을 한다.
• 9. 과정 8에서 변환된 관심 영역에서 과정 2의 삼각형 좌표만 마스킹한다.
• 10. 과정 9에서 구한 마스크를 이용해서 어핀 변환한 이미지와 원본 이미지를 합성한다.

x, y, w, h = cv2.boudingRect(pts)

: 삼각형 좌표를 감싸는 외접 사각형 좌표를 구하기
- pts : 다각형 좌표
- x, y, w, h = 외접 사각형의 좌표와 폭과 높이

 

cv2.fillConvexPoly(img, pts, color, lineTypes)

: 과정 9의 마스크를 구하기
- img : 입력 이미지
- pts : 다각형 좌표
- color : 다각형을 채울 색상
- lineType(optional) : 선 그리기 알고리즘 선택 플래그

# 삼각형 어핀 변환
import cv2
import numpy as np

img = cv2.imread("img/taekwonv1.jpg")
img2 = img.copy()
draw = img.copy()

# 변환 전,후 삼각형 좌표 ---①
pts1 = np.float32([[188,14], [85,202], [294,216]])
pts2 = np.float32([[128,40], [85,307], [306,167]])

# 각 삼각형을 완전히 감싸는 사각형 좌표 구하기 ---②
x1,y1,w1,h1 = cv2.boundingRect(pts1)
x2,y2,w2,h2 = cv2.boundingRect(pts2)

# 사각형을 이용한 관심영역 설정 ---③
roi1 = img[y1:y1+h1, x1:x1+w1]
roi2 = img2[y2:y2+h2, x2:x2+w2]

# 관심영역을 기준으로 좌표 계산 ---④
offset1 = np.zeros((3,2), dtype=np.float32)
offset2 = np.zeros((3,2), dtype=np.float32)
for i in range(3):
    offset1[i][0], offset1[i][1] = pts1[i][0]-x1, pts1[i][1]-y1
    offset2[i][0], offset2[i][1] = pts2[i][0]-x2, pts2[i][1]-y2

# 관심 영역을 주어진 삼각형 좌표로 어핀 변환 ---⑤
mtrx = cv2.getAffineTransform(offset1, offset2)
warped = cv2.warpAffine( roi1, mtrx, (w2, h2), None, \
                        cv2.INTER_LINEAR, cv2.BORDER_REFLECT_101)

# 어핀 변환 후 삼각형만 골라 내기 위한 마스크 생성 ---⑥
mask = np.zeros((h2, w2), dtype = np.uint8)
cv2.fillConvexPoly(mask, np.int32(offset2), (255))

# 삼각형 영역만 마스킹해서 합성 ---⑦
warped_masked = cv2.bitwise_and(warped, warped, mask=mask)
roi2_masked = cv2.bitwise_and(roi2, roi2, mask=cv2.bitwise_not(mask))
roi2_masked = roi2_masked + warped_masked
img2[y2:y2+h2, x2:x2+w2] = roi2_masked

# 관심 영역과 삼각형에 선 그려서 출력 ---⑧
cv2.rectangle(draw, (x1, y1), (x1+w1, y1+h1), (0,255,0), 1)
cv2.polylines(draw, [pts1.astype(np.int32)], True, (255,0,0), 1)
cv2.rectangle(img2, (x2, y2), (x2+w2, y2+h2), (0,255,0), 1)
cv2.imshow('origin', draw)
cv2.imshow('warped triangle', img2)
cv2.waitKey(0)
cv2.destroyAllWindows()

사각형, 삼각형으로 어핀 변환

- 왕 신기하군

 

 

 

 

잼따