[AI]_20_비정상 과학 학습

 220327 작성

<본 블로그는 두우우부님의 알기쉬운 AI 블로그를 참고해서 공부하며 작성하였습니다>

https://doooob.tistory.com/71?category=825950 

[알기쉬운 AI - 20] 비정상적인 과학습

 

 

 

 

 

 

1. 적은 데이터로 학습

: 데이터의 양이 적으면 데이터를 모으는 노력과 클렌징의 수고, 학습에 걸리는 시간과 부하도 크게 절약

: 데이터의 양은 적어도 인공 지능을 사용하고 싶다는 요구에 부응

과소 적합 & 적절 피팅 & 과대 적합

: 적은 데이터로 학습하는 방법

1. 품질좋은 데이터를 사용
2. Data Augmentation
3. 전이 학습 

 

 

 

1) Data Augmentation (데이터 확장)

: 원래의 학습 데이터에 변환을 가하여 데이터 양을 늘리는 기술

• 노이즈 증가(가우스 노이즈와 임펄스 노이즈) 
• 콘트라스트 조정 
• 밝기 조정(감마 변환)
• smoothing(평균화 필터)
• 스케일링
• 반전(좌우 / 상하)
• 회전
• 이동(수평 / 수직 )
• 부분 마스크(Cut out 및 Random Erasing)
• 트리밍 (Random Crop)
• 변형
• 변색
• 배경 교체(이것은 라이브러리의 기능이 아닌 별도의 작업)

 

: 주의점

- 과학습 

: 과도한 학습(Overfitting)은 특정 훈련 데이터만 너무 학습하다가 분류기가 그 데이터에만 강한(일반 데이터에는 약한) 모델이 된다

: 같은 이미지에 변형을 가한 것뿐이므로 외관상 데이터량이 증가하더라도 원래의 특징에서 그렇게 큰 변함이 없음

 

- 품질이 낮은 데이터 

: Data Augmentation 결과 실제로는 있을 수 없거나 판단할 수 없는 데이터가 되면 저품질 데이터를 학습시키는 것

ex) MNIST라는 편리한 데이터 세트가 있지만, 좌우 반전이나 상하 반전 등의 처리XX

(어디까지나 안정성을 높인다는 인식하에 변형 처리)

 

- 운영 데이터를 의식 

: 클렌징이나 Data Augmentation의 전처리는 운영 데이터를 강하게 의식

ex) 꽃의 이름을 가르쳐주는 AI가 있는데 어떤 운영 데이터를 의식?

같은 꽃이라도 색이 다르다거나 모양이 다르다거나 하는 것들이 많음

아무나 찍은 꽃의 사진을 올리면 이미지 크기, 찍혀있는 꽃의 크기, 이미지 품질, 원근감, 앵글, 사진방향 등 다양

 

 

 

2) 전이학습 (Transfer Learning)

: 영역(도메인)에서 학습한 모델을 다른 영역(도메인)에 사용하여 일반적으로 학습하는 것보다 적은 데이터로 추가 학습이 가능

: '저쪽에서 배운 기학습 모델을 활용하여, 이쪽의 학습은 적은 데이터로 끝내는 방법'

ex) VGG16는 13층의 합성곱 층과 3층의 전결합층으로 구성되는 회선 신경망 (CNN)

방대한 이미지를 인식하는 훈련한 VGG16( 13층의 합성곱층과 3층의 전결합층 구성으로 이미지 인식에 적합한 가중치를 최적화한 튜닝) 이 적은 데이터로도 인식이 가능 (분류기가 이미지 인식 관련 핵심 가지고 있음)

 

VGG의 전이학습

: 위 그림은

16번째 레이어까지 동결(가중치를 변경하지 않음)하여 합성곱층의 마지막 2층과 전결합층에서 학습

: 동결하지 않은 부분을 다시 생성하여 그 부분만 새로 꽃의 이미지를 추가 학습

 

=> 전이 학습의 기본은 기존 모델이 열심히 공부한 결과(가중치)를 이어받는 것

=> 오차 역 전파를 반복하여 조정된 각 노드의 가중치(weight)를 재사용하는 것

=> 전이 학습에서 여러 층까지 동결하거나 지정할 수 있으므로 더 동결범위를 늘려 전결합층만 변경하여 학습 가능