Through temporal difference (TD) learning, an agent learns from future rewards and backpropagates prediction errors by updating value estimates (continually updating beliefs about future rewards as it approaches the future). It is a core concept of model-free reinforcement learning.
The Rescorla-Wagner model captures key aspects of classical conditioning(Pavlovian experiment). It is based on a simple linear equation that predicts the reward associated with a stimulus.
计算精神病学领域较常见的三类研究范式总结。
贝叶斯框架下，大脑综合考虑巴普洛夫条件模型和工具条件模型，并通过强化学习实时更新二者的权重。
在喂食之前响铃，久而久之，狗会将铃声和食物联系起来，听到铃声时立即分泌唾液。通过食物（强化物 reinforcer），铃声和唾液分泌之间形成联系（association/contingent），且逐渐强化（reinforce），形成条件反射。
大脑是个信息处理系统（Information Processing System），这里只是哲学上的比喻并非物理上的。历史上也有人把大脑比喻成液压器、蒸汽机，都是受到当时最新技术的影响。比喻只是为了帮助人类更形象地理解大脑。也有研究发现信息处理之外大脑还有自上而下的意义提取功能（Walter Freeman对兔子嗅觉细胞的研究），之后再展开写。
贝叶斯模型会自动在复杂和简单模型中找到平衡：既不过于复杂（过拟合，模型仅适用于当前数据集，无法泛化到其他数据集），也不过于简单（欠拟合，模型无法充分解释数据）。
Install Hierachical Drift Diffusion Model via Conda.