在一种格外的简单的生物——秀丽隐杆线虫的神经系统中,可以观察到一个面向行动的生成模型的例子。多项研究表明,秀丽隐杆线虫的脑活动的重要部分包含运动行为序列,包括向前和向后运动,以及腹侧转动,这支撑了动物的动作选择。降维分析表明,这些行为序列被安排成稳定的循环,这些循环分叉的点可能对应于不同行为序列之间的决策。例如,决策点可以包括在执行腹部转弯后在向前运动和向后运动之间做出合理的选择。这些发现表明,秀丽隐杆线虫大脑活动的很大一部分是为促进连续地与外部环境互动,没明确编码外部世界的状态。这种生成模型被证明足以让秀丽隐杆线虫在不构建其内部表示的情况下导航其周围环境。类似地,这个模型可能会利用反馈感觉在分叉点做出适应性运动决策,例如,如果前面检测到物体,则增加腹部转弯后反向运动的可能性,或者如果从后面检测到物体,则减少反向运动的可能性。这种机制在概念上类似于在老鼠的主动搅拌胡须模型中观察到的在意外的触感之后(或者在缺少预期触感之后增加)晶须振幅的调整。从这里能够正常的看到,自由能对于生物的表征及行动都有着完善的理论框架。
本次读书会将从自由能原理完善的表征理论开始介绍,到自由能原理与强化学习的比较,不同智能的行动层次分类,之后介绍自由能原理在具身机器人上的前沿进展,最后介绍自由能原理的软件实现框架及简单的模拟效果展示。
自由能原理和AI(自由能原理从理论到数学机制到模型、算法、实验、效果、应用等
扫码参与自由能原理与强化学习读书会,加入群聊,获取系列读书会回看权限,加入集智社区,与社区的一线科研工作者沟通交流,一同推动因果涌现这一前沿领域的发展。
报名成为主讲人:读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员,均遵循内容共创共享机制,能够得到报名费退款,并共享本读书会产生的所有内容资源。具体见系列读书会详情:自由能原理与强化学习读书会启动:探索感知和行动的统一原理
由能原理被认为是“自达尔文自然选择理论后最包罗万象的思想”,它试图从物理、生物和心智的角度提供智能体感知和行动的统一性规律,从第一性原理出发解释智能体更新认知、探索和改变世界的机制,从而对AI,特别是强化学习世界模型、通用AI研究具有重要启发意义。
集智俱乐部联合北京师范大学系统科学学院博士生牟牧云,南京航空航天大学副教授何真,以及骥智智能科技算法工程师、公众号 CreateAMind 主编张德祥,共同发起「自由能原理与强化学习读书会」,希望从自由能原理这个更底层的视角重新审视强化学习世界模型,探讨自由能原理、强化学习世界模型,以及脑与意识问题中的预测加工理论等前沿交叉问题,探索这些不相同的领域背后蕴含的感知和行动的统一原理。读书会从3月10日开始,每周日上午10:00-12:00,维持的时间预计8-10周。欢迎感兴趣的朋友报名参与!