当前位置：网站首页>Model based RL概述

Model based RL概述

2022-04-22 13:07:00 【CHH3213】

文章目录

参考资料
1. Model based vs Model free

参考资料

https://zhuanlan.zhihu.com/p/102197348
https://zhuanlan.zhihu.com/p/45418829

1. Model based vs Model free

1. Model-based

强化学习中所说的model-based并不是已知环境模型,或者已知状态转移概率。而是要从经验中学习到一个环境模型或者其他映射,并利用这个learned model 加速策略选代的进程。

model-based 旨在高效的利用experience，提高学习效率以及实现 data-efficient。

一般来说，model-based的好处是由于其对环境的动力学特性（dynamic ）进行建模，其sample efficiency更好，在样本很少的情况下学习的更好。但是一般来说其渐近表现不如model-free的算法好，即收敛之后的性能。

model-based算法有两个关键的问题，一个是建立什么样的模型，一个是怎样使用模型去做控制。

1.1 模型建立

模型的选择有：
1）nonparametric类方法，比如Bayesian nonparametric model；

2）local models，比如guided policy search，这个方法主要是反复的找更好的轨迹，并且把策略朝着该轨迹上拟合；

3）parametric models，比如使用神经网络来拟合，这种方法又分为deterministic模型和stochastic模型，deterministic计算更简单但是在样本少的时候会更容易overfit。

1.2 使用模型做控制

使用模型来做控制的方法主要有：

1）policy based method，即利用模型去探索并找到一个好的policy $\pi: s_t \to a_t$ ，属于learning；

2）model predictive control（MPC），这种方法不去寻求一个依赖于当前状态的策略，而是每次遇到一个新的选择的时候，都基于模型去逐步预测、模拟、做选择。属于planning。

2. Model-free

Model-free就是我们常听到的 DQN, DDPG, PPO 等SOTA算法。它和model-based 的区别就在于是否利用经验做策略选代之外的事。显然,所有model-free都可以转变为
model-based, model-based只是一个框架,任意的model-free算法都可以嵌套进去。

model-free在其中就是下图的 direct RL，因此 model-free 就是value/policy->acting->experience->direct RL->value/policy 的过程。

所谓的 model-based 就是在其上增加了 model learning->model->planning 的过程。通过 experience data 学习得到一个环境的模型。
在这里插入图片描述