목록2024/05/20 (1)
버티의 블로그
[강화학습 #05] λ-returns on TD
n-Step Prediction and Return 4장에서본 TD는 바로 다음 시점인 t+1에서의 reward와 state value만을 TD Target으로 설정해서 state value를 업데이트 했다. 사실 이 방식은 1 step마다 state value를 업데이트 하는 1-step TD방식이었고, 이 step을 n만큼 늘려 적용할 수 있는데 이를 n-step TD라고 한다. 예를 들어, 3-step TD는 3 step마다 업데이트를 진행하며, t+3까지의 상황을 고려한다. 만약 무한히 가는 n-step TD로 확장하면 MC와 거의 동일하게 된다. 따라서 n-step TD를 일반화 하면 위와 같이 MC의 식과 거의 유사해진다. 그래서 n-step TD에서는 적당한 n값을 설정해주는 것이 중요한데..
전공 공부/강화학습
2024. 5. 20. 00:39