神经学家发现了探索性行为使动物如何学习更有效的空间环境。他们的发现可以帮助建立更好的人工智能代理,可以学习速度更快,需要更少的经验。
Sainsbury康中心和盖茨比的计算神经科学研究单位在伦敦发现动物的本能探索性运行执行并不是随机的。这些有目的的行动让老鼠学习有效的世界地图。的研究发表在神经元描述了神经科学家测试他们的假设,具体探索动物采取的行动,比如跳迅速向对象,是重要的在帮助他们学习如何驾驭环境。
“有很多理论在心理学如何执行特定的动作促进学习。在这项研究中,我们测试了简单地观察障碍的环境是否足够了解他们,或者如果有目的,sensory-guided行动帮助动物建立一个认知的世界地图,”教授说蒂亚戈布兰科,组长在Sainsbury康中心和相应的作者在纸上。
在以往的研究中,科学家们SWC观察之间的关联如何动物学会绕一个障碍,他们跑到对象的次数。在这项研究中,菲利普•沙玛什SWC博士生论文的第一作者,进行实验测试阻止动物的影响进行探索性。通过表达光活性蛋白称为脑细胞在运动皮质的一部分,菲利普能够使用optogenetic工具来防止动物开始探索运行障碍。
研究小组发现,尽管老鼠花了很多时间观察和嗅探障碍,如果他们被禁止跑向他们,他们不学习。这说明,本能的探索性行为本身是帮助动物学习环境的地图。
探索大脑可能使用的算法学习,团队与塞巴斯蒂安·李,博士生在SWC安德鲁·萨克斯的实验室,运行不同的强化学习模型,人们开发了人工代理,并观察哪一个最接近繁殖鼠标行为。
有两种主要类型的强化学习模型:模范自由和基于模型。研究小组发现,在一些条件下小鼠行为模范自由的方式,但在其他情况下,他们似乎有一个世界的模型。所以研究人员实现一个代理,可以仲裁模范自由和基于模型之间的关系。这并不一定是老鼠的大脑是如何工作的,但它需要帮助他们理解学习算法来解释行为。
“人工智能的一个问题在于,代理需要大量的经验来学习一些东西。他们必须探索环境数千倍,而一个真正的动物可以了解环境在不到10分钟。我们认为这是部分原因是,与人工代理、动物的探索并不是随机的,而是侧重于突出的对象。这种定向探索使得学习更有效率,所以他们需要更少的经验学习,”布兰科教授解释道。
下一步的研究人员正在探索之间的联系的执行探索性行为和子目标的表示。团队正在进行录音在大脑中发现哪些方面参与代表子目标和如何探索性行为导致表征的形成。
