结构化探索让生物大脑比人工智能学习得更快

神经科学家发现了探索性行为如何使动物更有效地了解它们的空间环境。他们的发现可以帮助构建更好的 AI 代理，这些代理可以更快地学习并且需要更少的经验。

鼠标探索环境，学习如何在前往避难所的路上绕过障碍物。

塞恩斯伯里惠康中心和伦敦大学学院盖茨比计算神经科学部门的研究人员发现，动物进行的本能探索性奔跑并不是随机的。这些有目的的行为让老鼠能够有效地学习世界地图。这项研究描述了神经科学家如何检验他们的假设，即动物进行的特定探索行为（例如快速冲向物体）对于帮助他们学习如何驾驭环境非常重要。

“心理学中有很多关于执行某些动作如何促进学习的理论。在这项研究中，我们测试了仅仅观察环境中的障碍物是否足以了解它们，或者有目的的、感官引导的动作是否有助于动物建立认知能力世界地图，”Sainsbury Wellcome 中心的组长兼该论文的通讯作者 Tiago Branco 教授说。

在之前的工作中，SWC 的科学家们观察到动物学会绕过障碍物的程度与它们跑向障碍物的次数之间存在相关性。在这项研究中，SWC 博士 Philip Shamash 该论文的学生和第一作者进行了实验，以测试防止动物进行探索性跑步的影响。通过在运动皮层的一部分表达一种叫做通道视紫红质的光激活蛋白，菲利普能够使用光遗传学工具来防止动物开始探索性地奔向障碍物。

鼠标导航到避难所的图形描述。

该团队发现，即使老鼠花了很多时间观察和嗅探障碍物，但如果它们被阻止跑向障碍物，它们就不会学习。这表明本能的探索行为本身正在帮助动物学习环境地图。

为了探索大脑可能用来学习的算法，该团队与博士 Sebastian Lee 合作。SWC Andrew Saxe 实验室的学生，运行人们为人工代理开发的不同强化学习模型，并观察哪一个最接近地重现鼠标行为。

强化学习模型主要分为两类：无模型和基于模型。该团队发现，在某些情况下，老鼠以无模型的方式行事，但在其他情况下，它们似乎拥有世界模型。因此，研究人员实施了一种可以在无模型和基于模型之间进行仲裁的代理。这不一定是老鼠大脑的工作方式，但它帮助他们理解学习算法需要什么来解释行为。

“人工智能的一个问题是，代理人需要大量的经验才能学习一些东西。他们必须探索环境数千次，而真正的动物可以在不到十分钟的时间内学习环境。我们认为这是部分原因是，与人工代理不同，动物的探索不是随机的，而是专注于突出的物体。这种定向探索使学习更有效率，因此他们需要更少的经验来学习，”布兰科教授解释道。

研究人员的下一步是探索探索性行动的执行与子目标的表示之间的联系。该团队现在正在大脑中进行记录，以发现哪些区域涉及表示子目标，以及探索性行为如何导致表示的形成。