[Mask R-CNN] 이해 및 학습

220510 작성

<본 블로그는 fire_luv님의 IT_WORLD 블로그를 참고해서 공부하며 작성하였습니다>

https://niniit.tistory.com/32

[리뷰] Computer Vision Tutorial: Image Segmentation을 위한 마스크 R-CNN 구현

 

 

 

 

 

😎 Mask R-CNN

• Faster R-CNN의 확장
• Faster R-CNN이란?
  • 물체 감지 작업에 널리 사용되며, 주어진 이미지에 대해 이미지의 각 객체에 대한 클래스 레이블 및 경계 상자 좌표를 반환
    • 더 빠른 R-CNN은 먼저 ConvNet을 사용하여 이미지에서 특징 맵을 추출 한다.
    • 기능 맵은 후보 경계 상자를 반환하는 RPN (Region Proposal Network)을 통해 전달된다.
    • 후보 경계 상자에 RoI 풀링 레이어를 적용하여 모든 후보를 동일한 크기로 가져온다.
    • 마지막으로 제안은 완전히 연결된 레이어로 전달되어 객체의 경계 상자를 분류하고 출력한다

• 예측 단계
  • 1단계 backbone 모델
    • Faster R-CNN에서 이미지에서 피쳐 맵을 추출하기 위해 ResNet 101 아키텍처를 사용하여 Mask R-CNN의 이미지에서 피쳐를 추출한다.
    • 첫 번째 단계는 ResNet 101 아키텍처를 사용하여 이미지를 가져오고 특징을 추출하는 것이다.
    • ⇒ 다음 레이어의 입력 역할을 한다.
  • 2단계 지역 제안 네트워크 (RPN) 
    • 이전 단계에서 얻은 기능 맵을 가져와서 지역 제안 네트워크 (RPM)를 적용한다.
    • 기본적으로 객체가 해당 영역에 있는지 여부를 예측한다.
    • ⇒ 모델이 어떤 객체를 포함한다고 예측하는 지역 or 기능 맵을 얻는다.
  • 3단계 관심 영역 (RoI)
    • RPN에서 얻은 영역은 모양이 다를 수 있다.
    • 풀링 레이어를 적용하고 모든 영역을 동일한 모양으로 변환한다.
    • 이러한 영역은 완전히 연결된 네트워크를 통해 전달되므로 클래스 레이블 및 경계 상자가 예측된다.
    • Faster R-CNN과의 차이점은 Mask R-CNN은 분할 마스크 생성한다. 
    • ⇒ 먼저 관심 영역을 계산하여 계산 시간을 줄일 수 있다.
    • ⇒ 모든 예측 지역에 대해 Ground Truth 상자를 사용하여 IoU (Intersection over Union)를 계산한다.
    • IoU = 교차 영역 / 조합 영역
      • IoU가 0.5보다 크거나 같은 경우에만 이를 관심 영역으로 간주한다.
      • 그렇지 않으면 특정 지역을 무시한다.
      • 모든 지역에 대해 이 작업을 수행 한 다음 IoU가 0.5보다 큰 지역 집합만 선택한다.

• 4단계 Segmentation Mask
  • IoU 값을 기반으로 하는 RoI가 있으면 기존 아키텍처에 마스크 분기를 추가할 수 있다.
  • 객체를 포함하는 각 영역에 대한 분할 마스크를 반환한다. 
  • 각 영역에 대해 28 X 28 크기의 마스크를 반환한 다음 추론을 위해 확장한다.

 

 

• 구현단계
  • 1) clone the repository
    • 구현 단계: Mask R-CNN에 대한 아키텍처가 있는mask rcnn 저장소를 복제

!git clone https://www.github.com/matterport/Mask_RCNN.git

 

•  
  • 2) Install the dependencies 
    
    • numpy
    • scipy
    • Pillow
    • cython
    • matplotlib
    • scikit-image
    • tensor flow>=1.3.0
    • keras>=2.0.8
    • opencv-python
    • h5py
    • imgaug
    • IPython
  • 3) 사전 훈련된 가중치 다운로드 (MS COCO에서 훈련됨) 
    • 사전 훈련된 가중치를 다운로드해야 한다. (링크)
    • 이러한 가중치는 MS COCO 데이터 세트에서 학습된 모델에서 얻는다.
    • weight를 download(다운로드) 한 후 1 단계에서 복제 한 Mask_RCNN 저장소의 샘플 폴더에 이 파일을 붙여 넣기
  • 4) 이미지 예측
    • Mask R-CNN 아키텍처와 사전 훈련된 가중치를 사용하여 자체 이미지에 대한 예측을 생성한다.
    • Python으로 구현 한 다음 이미지의 객체에 대한 클래스 및 경계 상자와 함께 마스크를 생성한다.