객체 탐지 Object Detection 주요 모델 one stage & two stage

<본 블로그는 pseudo-lab 님의 Tutorial-Book 블로그를 참고해서 공부하며 작성하였습니다>

https://pseudo-lab.github.io/Tutorial-Book/chapters/object-detection/Ch1-Object-Detection.html

1. 객체 탐지 소개 — PseudoLab Tutorial Book

 

 

 

 

🦄 객체 탐지(Object Detection)

컴퓨터 비전 기술의 세부 분야중 하나로써 주어진 이미지내 사용자가 관심 있는 객체를 탐지

 

 

✅ 바운딩 박스

특정 사물을 탐지하여 모델을 효율적으로 학습 할 수 있도록 도움을 주는 방법

타겟 위치를 특정하기 위해 사용

타겟 위치를 X와 Y축을 이용하여 사각형으로 표현

ex) 바운딩 박스 값은 (X 최소값, Y 최소값, X 최대값, Y 최대값)으로 표현

 

X, Y 값은 픽셀값으로 효율적인 연산을 위해서는 최대값 1로 변환

 

 

✅ Sliding Window

특정한 모양의 윈도우를 이미지 왼쪽 상단에서 오른쪽 하단으로 점진적으로 이동하면서 객체가 있을 만한 Region들을 Proposal(제안)

각기 다른 모양의 윈도우를 각각 슬라이딩하거나 아니면 윈도우 크기를 고정하되 탐지할 이미지 크기를 다양하게 스케일링해서 Region Proposal을 수행

 

객체가 없는 지역도 슬라이딩을 무조건 하기 때문에 슬라이딩 윈도우를 하는 데 시간이 많이 걸릴 뿐더러 객체를 잘 탐지할 확률도 낮아지게 됨

 

 

✅ 모델 형태

Classification : 특정 물체에 대해 어떤 물체인지 분류를 하는 것

Region Proposal : 물체가 있을만한 영역을 빠르게 찾아내는 알고리즘

 

💫 One-Stage Detector

Classification, Regional Proposal을 동시에 수행하여 결과를 얻는 방법

이미지를 모델에 입력 후, Conv Layer를 사용하여 이미지 특징을 추출

비교적 빠르지만 정확도가 낮음

 

ex) YOLO, SSD, RetinaNet

 

👁‍🗨 YOLO

Bouning-box와 Class probability를 하나의 문제로 간주하여 객체의 종류와 위치를 한번에 예측

이미지를 일정 크기의 그리드로 나눠 각 그리드에 대한 Bounding-box를 예측

Bounding-box의 confidence score와 그리드셀의 class score의 값으로 학습

 

간단한 처리과정으로 속도가 매우 빠르지만 작은 객체에 대해서는 상대적으로 정확도가 낮음

 

👁‍🗨 SSD (Single Shot MultiBox Detector)

각 Covolutional Layer 이후에 나오는 Feature map마다 Bounding-box의 Class 점수와 Offset(위치좌표)를 구함

NMS( Non-Maximum Suppression) 알고리즘을 통해 최종 Bounding-box를 결정

 

각 Feature map마다 스케일이 다르기 때문에 작은 물체와 큰 물체를 모두 탐지할 수 있다는 장점

 

 

👁‍🗨 RetinaNet

 

모델 학습시 계산하는 손실 함수(loss function)에 변화를 주어 기존 One-Stage Detector들이 지닌 낮은 성능을 개선

One-Stage Detector는 많게는 십만개 까지의 후보군 제시를 통해 학습을 진행

그 중 실제 객체인 것은 일반적으로 10개 이내 이고, 다수의 후보군이 background 클래스로 잡힘

상대적으로 분류하기 쉬운 background 후보군들에 대한 loss값을 줄여줌으로써 분류하기 어려운 실제 객체들의 loss 비중을 높이고, 그에 따라 실제 객체들에 대한 학습에 집중

 

속도 빠르면서 Two-Stage Detector와 유사한 성능을 보임

 

 

💫 Two-Stage Detector

Classification, Regional Proposal을 순차적으로 수행하여 결과를 얻는 방법

비교적 느리지만 정확도가 높음

 

ex) R-CNN, Fast R-CNN, Faster R-CNN

 

👁‍🗨 R-CNN

Selective Search를 이용해 이미지에 대한 후보영역(Region Proposal)을 생성

• Selective Search 이미지 픽셀의 컬러, 무늬, 크기, 형태에 따라 유사한 Region을 계층적 그룹핑 방법으로 계산
• Region Proposal 객체가 있을 만한 영역들의 후보군들을 여러 개 추출

 

생성된 각 후보영역을 고정된 크기로 wrapping하여 CNN의 input으로 사용

CNN에서 나온 Feature map으로 SVM을 통해 분류, Regressor을 통해 Bounding-box를 조정

 

강제로 크기를 맞추기 위한 wrapping으로 이미지의 변형이나 손실이 일어나고 후보영역만큼 CNN을 돌려야하하기 때문에 큰 저장공간을 요구하고 느리다는 단점

 

 

👁‍🗨 Fast R-CNN

각 후보영역에 CNN을 적용하는 R-CNN과 달리 이미지 전체에 CNN을 적용하여 생성된 Feature map에서 후보영역을 생성

생성된 후보영역은 RoI Pooling을 통해 고정 사이즈의 Feature vector로 추출

• RoI Pooling 원하는 위치(regions)의 feature를 max pooling 하기 위한 layer 
• feature map의 proposal region에서 미리 정해놓은 크기(FC layer의 인풋 사이즈)의 격자(grid)에 맞추어  bin마다 maxpooling 하여 고정된 크기의 vector를 만들어 냄

 

Feature vector에 FC layer를 거쳐 Softmax를 통해 분류, Regressor를 통해 Bounding-box를 조정

 

 

👁‍🗨 Faster R-CNN

Selective Search 부분을 딥러닝으로 바꾼 Region Proposal Network(RPN)을 사용

• RPN Feature map에서 CNN 연산시 sliding-window가 찍은 지점마다 Anchor-box로 후보영역을 예측
• Anchor-box 미리 지정해놓은 여러 개의 비율과 크기의 Bounding-box

 

RPN에서 얻은 후보영역을 IoU순으로 정렬하여 Non-Maximum Suppression(NMS) 알고리즘을 통해 최종 후보영역을 선택

• Non-Maximum Suppression(NMS) 
  • Detected 된 bounding box 별로 Confidence threshold 이하의 bounding box는 제거
  • 가장 높은 confidence score를 가진 box 순으로 내림차순 정렬하고 아래 로직을 모든 box에 순차적으로 적용
    • 가장 높은 confience score를 가진 box와 곂치는 다른 box를 모두 조사하여 IOU가 특정 threshold 이상인 box를 모두 제거
    • IOU(아래 설명)가 일정 이상인 boundingbox는 동일한 물체를 detect 했다고 판단하고 곂치는 box를 제거해 주는 과정
  • 남아 있는 box만 선택 (최대한 하나의 Object에 하나의 Detection box만이 존재)

 

선택된 후보영역의 크기를 맞추기 위해 RoI Pooling을 거치고 이후 Fast R-CNN과 동일하게 진행