大脑的网络结构是存储信息的最佳模式吗？

日报标题：不小心长了个很会存储信息的大脑

Han Lu，neuroscience, computational neuroscience, psychology

写在前面的话

最近跟几个背景不同的小伙伴们搞了个 journal club（戳这里可以看细节内容），会从网络结构方面来讨论神经网络和人工神经网络。这个 journal club 的日程目前有五周，万一以后还会有更多呢，所以叫 The 5-week Plus. 欢迎感兴趣的同学一起来探讨。

大脑不是全连接

考虑到大脑是一个高度折叠的网络结构，以及 pyramidal 神经元的 collaterals 在狭小的空间里迂回穿过树突，直觉告诉我们大脑很有可能是全连接的。

然而电生理数据发现，皮层的神经元网络连接程度只有 10% 而已。所以问题是，大脑呈现出这样 10%的连接强度，难道因为这是最适合信息存储的设置吗？或者只是偶然或者进化不全？

信息存储的两种形式

对于大脑中信息存储的方式，做计算神经科学的同行们提出了不少的猜想和模拟，其中有两个假设和实验数据吻合而被广泛接受。一个是物理学中的概念 attractor state，另一个是基于 feedforward network 的形式提出的对 firing sequence 的存储。

(1) attractor state and engram

物理学的概念就不赘述了（因为我不是学物理的不想把脸拿出来被打）。这个 attractor state 的简单例子就是在网络中，有一小撮神经元的 firing rate 比背景强度更高。再一次祭出旧文，因为让我想起了engram的形式。

比如在这个神经网络中，这些蓝色的神经元就是用来标记小鼠在这个环境下的记忆（或者信息）。不难看出，这个假设里，被存储的信息是基于特定的神经元 sub-group 的，sub-group 被激活，那么记忆被提取。

(2) sequence storage and feedforward network

Attractor state 是被更广为接受的在 recurrent network 中用来存储信息的形式。直到 Goldman 提出就算是一个没有 feedback 的网络中，也可以有信息被存储下来。这是难以置信的。或者换句话说，信息因为原样传递而被保留下来了。

这是一个简单的 feedforward 的例子，即在一个有方向的传递中，神经元不往回产生突触。那么为了保持信息，每一个神经元对于该输入的反应都应该是一样的。但是问题来了，神经元是一个 low-pass filter，信息在这个链条上传播是会逐步衰减，根据该神经元所处的位置（上图左）的不同，该神经元产生的反应强度会衰减（如下图）。讨论：衰减的不是 membrane potential，因为 action potential 的传递是全或无，我认为衰减的是 rate。作者在文章中模糊了这个量（basis function）的实际意义，但是量纲是即每秒。

为了保证信息的如实传递，即 firing rate 在不同位置序列上的神经元上保持不变，那么随着位置距离 raw inputs 的增加，相应的突触强度应该增加，从上图（中）到上图（下）。这也说明在 feedforward network 中，信息虽然以 sequence 保留下来，然而最终体现在突触强度上，和学习与记忆的生物基础是吻合的。

从模型到连接

目前计算神经科学领域的研究，主要方法是提出模型，然后任意选定合适的（简化的）网络结构进行探索。这是长期为实验科学家所诟病的一点：你 run 出来的结果，跟我们有关系么？

这一篇 Brunel 的新文章就扛起了大旗，用机器学习的方法改变网络连接的 connection matrix，基于不同的训练方式（attractor state 或者 sequence storage），然后将最终学习到饱和的网络结构与电生理测量数据作比较。如同教科书扔到脸上：你服不服。

perceptron learning algorithm

Perceptron 是人工神经网络中常用的方法，用于分类。在这篇文章中，作者用了 binary 的神经元类型，1 即 fire，0 即 silence. 根据所有输入及其相应的权重的总和来进行分类，并设定了阈值和 robustness level .

对于任意一个所需学习的 pattern，fire or not 将其所需要的突触强度范围进行了划分。比如在上图中，三个 pattern 就将该突触的强度范围限定到了白色区域。

大量的弱突触和较强的双向突触

理论推导出来的结果和实验结果有非常令人惊喜的吻合。

比如，不管在哪种参数条件下，发现突触强度的分布都是零突触居多，并且非零突触呈现 truncated Gaussian distribution. 即弱突触居多而强突触更少。以及连接程度在贴近生物实际的参数范围内，趋近于 0.1 的水平。上图 C 的 EPSP amplitude 也是一个突触强度的指标，灰色部分表示实验数据，光滑曲线是理论值。