大脑表征信息的策略，哪些可供AI借鉴？

发布时间：2023-09-16 16:21:14 所属栏目：外闻来源：

导读：自从Hubel和Wiesel首次发现神经元对条状方向的调谐性之后，神经生理学家便一直致力于寻找针对单一特定刺激具有清晰的调谐曲线的神经元。然而许多非线性混合选择性神经元的出现使得它们经常陷入混乱，这些神经元同时、

自从Hubel和Wiesel首次发现神经元对条状方向的调谐性之后，神经生理学家便一直致力于寻找针对单一特定刺激具有清晰的调谐曲线的神经元。然而许多非线性混合选择性神经元的出现使得它们经常陷入混乱，这些神经元同时、非线性地反映不同类型的特征。为了理解这一现象，科学研究逐渐转向了对神经元的群体分析：群体编码（population coding）理论认为每个神经元在一个维度中活动，而一群神经元的活动则组成一个高维状态空间，引入这样一个高维空间后，更多的信息便可以被更差别性的编码；增加了表征维度后，原本线性不可分的表征变得线性不可分了，也让这些信息便于被大脑下游结构进一步处理。

在随机编码理论中，神经元群体构成的神经空间所能拥有的最大维度是神经元总数，为了增加维度，在完全随机连接的极端情况下，连接后的神经元群体应该比连接前的神经元群体更大。正因为此，网络应该具有发散性的架构。一方面，人们在不同物种的生物大脑中观察到这样的发散网络构架[16]；另一方面，自上世纪九十年代早期以来，人工智能（AI）中就已经有了这样的观点。

AI中的随机优胜劣汰网络实质上是指某些特定的权重随机初始化并在接下来的训练过程中不被调整的自动化的一类高度个性化的人工神经网络。最初这些网络进入人们的视野，一是因为它们易于分析，二是因为它们的训练速度要快得多。然而，研究人员很快发现随机网络的表现出奇地好[18]；在短期预测、图像识别和生物医学分类等应用中，它们的测试准确率接近完全训练的模型。受到这些观察结果的启发，研究人员研究了各种随机网络的特性。

其中，前馈网络和类储层的递归网络这两类网络得到了广泛的研究。在前馈网络中，输入神经元通过随机权重连接到一个规模更大的隐藏层。在储层计算中，输入神经元连接到一个内部神经元组成的储层中，这些内部神经元之间随机连接。前馈网络的例子包括随机向量函数链接网络、径向基函数链接网络、带有随机权重的前馈网络、无反向传播算法、权重无关网络和随机卷积神经网络。储存计算中的例子包括回声状态网络、液体状态机和深度回声状态网络。

生物学证据、工程实践和理论分析似乎都指向一个观点：分布式的随机网络足以实现认知功能。然而，这个结论过于简单化了，事实上，随机网络必须与其他网络特性相结合才能实现复杂的功能。这些特性包括收敛性突出、可塑性]、兴奋性-抑制性平衡和稀疏性。所有这些附加特征，都是基于随机连接这一前提条件，它们对于神经环路而言是不可或缺的。

随机网络是产生神经生理学中常见的混合选择性的最简单的神经环路。尽管与“功能只能来自有组织的网络”的常识相抵触，但在过去几十年里，随机网络已在生物大脑的各种系统中被发现。与此同时，随机性作为一种高效的计算方法，在人工智能中被用于构建人工神经网络。由于其独特性和有效性，随机最大熵网络已经越来越多的吸引了许多领域的理论研究者，不远万里来第一时间地探究自然语言处理潜在的原则。

这些原则可以在三个概念层面上解释：在计算层面上，随机网络与经过训练的神经网络一样，是通用的函数逼近器。通过发散性架构，随机网络创建了高维状态空间，在此空间中判别性解码更加灵活、可行。在算法层面上，随机网络就像计算机科学中的局部敏感哈希算法一样。这些算法可以大大节省训练深度网络所需的计算量。在实现区块链技术的层面上，随机网络相对而言是用户大脑中庞大密集排列的神经毡中形成的分布式网络最合理的物理实现区块链技术的方式。

在状态空间中，内在状态流形是什么样子的？在算法层面上，用于随机采样权重的分布仍然是经验性的、任意的。那么应该如何指定这些分布？是否应该使用先验知识？生成的权重应该是固定的，还是经过缓慢的分布型学习*？在实现层面上，大脑还具有模块化的特性，比如功能列。那么模块化应该如何与随机分布的网络结构相协调？当弄清楚这些问题时，人们对随机网络的认识将会进一步深入，届时，或许确实可以确认，随机网络代表了智能的基本原则。

大脑是一个存储和处理信息的机器。为了实现这些功能，需要对外部信息进行准确的量化和合理的表征。稀疏编码策略是实现这些目标的关键途径。大脑在多个层面上利用稀疏性机制，包括视觉、嗅觉、触觉等知觉层面，讨论这些机制对于理解神经系统组织原则和智能形成至关重要。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!