有趣的解释：古时候，优秀的皇帝都秉持着“水能载舟 亦能覆舟”的思想，希望能多了解民间百姓的生活。皇帝可以选择通过微服出巡，亲自下凡了解百姓生活（On-policy），虽然眼见为实，但毕竟皇帝本人分身乏术，掌握情况不全；因此也可以派多个官员去了解情况，而皇帝本人则躺在酒池肉林里收听百官情报即可（Off-policy）。
Q-learning vs. Sarsa
二者都是基于TD的强化学习策略，但是前者是off-policy（有目标网络和行为网络），后者是on-policy。
Q-learning计算下一状态的预期收益时使用了max操作，直接选择最优动作，而当前policy并不一定能选择到最优动作，因此这里生成样本的policy和学习时的policy不同，为off-policy算法。SARAS算法，基于当前的policy直接执行一次动作选择，然后用这个样本更新当前的policy，因此生成样本的policy和学习时的policy相同，算法为on-policy算法。
on-policy与off-policy区别：更新值函数时是否只使用当前策略所产生的样本.
policy_net 和 target_net。因为有两个agent，一个表示当前policy，一个表示目标policy。replay buffer中存储的是很多历史样本，更新Q函数时的target用的样本是从这些样本中采样而来，因此更新时使用的可能是历史样本，所以是off-policy。（memory不会定时清理，只有达到容量上限时，会除掉开始的数据）actor 和 critic。因为学习的 agent 跟和环境互动的 agent是同一个。并且用于更新的样本是当前策略产生的样本，因此是on-policy。也有memory，不过更新一次就会clear。以下是个人总结，不一定正确，如有错误还请各位大佬指出：
❗❗发现了一个从代码层面分辨的小技巧 -> 对于用到了memory存储数据的算法，观察memory存的数据是怎么变的：
1️⃣ 对于off-policy策略，memory会一直存数据，如果满了就替换前面的。因此每次更新的时候，可能会用到其他策略采样到的数据。
2️⃣ 对于on-policy策略，更新一次参数后memory会被清空。
但是！！！Q-learning和Sarsa不能这样分辨，二者都是单步更新没有用到memory。
Q-learning是传入(state, action, reward, next_state, done)更新，Sarsa是传入(state, action, reward, next_state, next_action,done)进行更新。
为什么前者是off-policy而后者是on-policy呢？