[AI]_24_Q 학습 (Q-Learning)

 220518 작성

<본 블로그는 두우우부님의 알기쉬운 AI 블로그를 참고해서 공부하며 작성하였습니다>

https://doooob.tistory.com/102?category=825950 

[알기쉬운 AI - 24] Q 학습 (Q-Learning)

 

 

1. Q-Learning

: 검정 결과가 유의하다고 판단되는 최소의 FDR(false discovery rate)의 수

 

ex) 해전 게임

: 반복적으로 공격하다 보면 전략 보드(Q)의 정보가 풍부해져 점차 상대방의 나머지 함들의 위치가 보이게 됩니다. 그리고 먼저 상대를 전멸시키면 승리하는 게임

 

 

 

2. Q-Learning의 이해

: 훈련을 통해 '어디로 이동하면 골에 접근하는가'라는 정보를 기억해 갑니다

: 학습을 진행해 가면서 이 Q보드에 유용한 정보가 기록되어 가고, 그 결과로 Q보드를 보며 플레이 함으로써 효율적으로 최대의 보상을 얻을 수 있는 것입니다

 

 

3. 강화학습이란?

: 어느 환경에서 에이전트의 현재 상태에서 행동한 결과로 주어지는 보상을 극대화하기 위해 에피소드를 반복해 가는 학습법

 

: 강화 학습은 즉각적인 보상(Immediate rewards : 즉시 보상) 대신 미래에 얻을 수 있는 가치를 극대화시킬 수 있도록 행동합니다.

: "어떤 상태에서 한 행동을 취했을 때의 가치"를 탐험(에피소드)을 통해 찾아갑니다. 

: 이 가치를 Q값(상태 행동 가치)이라 하며 얻어진 정보(가치의 기대치)를 Q보드에 저장하여 둡니다. 

 

 

 

4. 강화학습 알고리즘

- Q-Learning 

: Q (현재 값) = (1-α) Q ( 현재 값 ) + α Q ( 새로운 값 )

: α는 학습률이라 불리며 Q값 경신의 완급을 결정하는 파라미터

 

- Sarsa

: Q ( 상태, 액션 ) = (1-α) Q ( 상태, 동작 ) + α (R ( 상태, 동작 ) + γ Q ( 다음 상태, 모든 액션 ))

: 실제로 하나씩 행동한 결과로 Q값을 경신

 

- 몬테카를로 

: Q ( 상태, 액션 ) = Ave (배열 ( 상태 작업 ))

: 랜덤으로 시도하여 그 결과의 근사치를 구하는 시뮬레이션 법

① 어쨌든 보상을 얻을 때까지 행동합니다.(그림 2의 예라면 F방에 도달할 때까지 계속 이동) 

② 거기에 이르기까지의 액션과 얻은 보상을 보상 배열에 모두 기록합니다.

③ 보상에 도달하면, 그때까지 기록된 배열의 평균치로 Q값을 식 4로 업데이트합니다. 

실제로 하나씩 행동한 결과로 Q값을 경신

Q(상태, 액션) = (1-α) Q(상태, 동작) + α( R (상태, 액션 + γ × Max(Q ( 다음 상태 모든 조치 )))