[AI]_22_강화학습 & 도적 알고리즘

 220507 작성

<본 블로그는 두우우부님의 알기쉬운 AI 블로그를 참고해서 공부하며 작성하였습니다>

https://doooob.tistory.com/95?category=825950 

[알기쉬운 AI - 22] 강화학습과 도적 알고리즘

 

 

 

 

 

1. 강화학습

: 해답이 주어지는 것이 아니다

: 보수를 얻기 위해 스스로 배우고 영리해지는 학습법

: 각 상황에서 코치가 최적의 조언을 가르쳐주는 것을 감독 학습

: 강화학습은 코치 없이, 자기 반성을 스스로 실시해 어떻게 더 보상을 얻을 수 있는지 스스로 강해지는 것

 

 

ex) 도적 알고리즘

: 고객에게 더 많은 클릭을 얻거나 게임에서 이기기 위한 학습 방법

1) AB 테스트

: 패턴 A와 패턴 B를 준비하여 둘 중 어느 패턴이 효과가 높은(보상이 큰) 지를 조사한다

: 가위바위보 승부에서 처음에 10회를 가위바위보 고르게 내고, "보"를 많이 낸다고 판단하여 나머지 20회를 "가위"를 낸다

- 처음 30회는 버릇을 간파하기 위한 탐색!

- "보"가 많다고 생각한 후 "가위"를 내는 것은 활용

- 탐색과 활용은 트레이드 오프 관계 (버릇을 잘 식별하기 위해 탐색의 수는 늘어나지만, 활용의 수는 줄어든다)

 

: 단점

- 탐색 시 확률이 나쁜 수도 균등하게 내야 함

- 탐색 결과 찾아낸 것이 정답이 아니라면, 같은 수를 계속 내서 큰 손실 얻음 

 

 

 

2) 도적 알고리즘

: 탐색과 활용을 혼합한다

: 처음부터 지금까지 얻은 정보를 활용하면서 적당히 탐색도 계속한다

- Greedy

- UCB (Upper Confidence Bounds)

- Softmax

- Phompson Sampling

 

 

 

 

2. Optimism in face of uncertainty

: 낙관적인 착각을 줄이고 다른 선택으로 옮겨간다

: 비관적인 착각을 멈추지 못하고 최적의 선택에 도달할 수 없게 된다

=> 불확실한 경우에는 낙관적인 선택을 한다

 

 

 

 

3. 몬테카를로 방법

: 랜덤으로 시험을 하여 그 결과로부터 근사치를 구하는 시뮬레이션 방법