人类注意力机制讨论

      注意力是每个人几乎生下来就会的一项技能，但是我们对其工作机制却还知道的太少。随着认知科学，生物神经学，以及人工智能的发展我们对人类注意力机制的研究也在加速。尤其在人工智能领域，实现人类水平的AI，需要我们对人类大脑（或动物大脑）的注意力机制有深刻而简洁的理解。

什么是注意力？

     注意力是指人的心理活动指向和集中于某种事物的能力。“注意”，是一个古老而又永恒的话题。俄罗斯教育家乌申斯基曾精辟地指出：“‘注意’是我们心灵的惟一门户，意识中的一切，必然都要经过它才能进来。”注意是指人的心理活动对外界一定事物的指向和集中。具有注意的能力称为注意力。

注意力的认知理论

     认知心理学将注意看作一种内部的信息加工机制，通过这种机制，注意实现其对刺激选择的控制和相对行为的调节。其中主要的三个理论分别为：

     过滤器理论，即认为神经系统在加工的容量方面是有限度的，不可能对所有的感觉刺激进行加工。当信息通过各种感觉通道进入神经系统时，要先经过一个过滤机制。只有一部分信息可以通过这个机制，并接受进一步的加工；而其它的信息就被阻断在它的外面，而完全丧失了。

     衰减器理论，这一理论承认存在过滤器，但并不按照“全或无”的原则工作，当信息通过过滤装置时，不被注意或非追随的信息只是在强度上减弱了，而不是完全消失。如果非追随耳的信息对人有重要意义，其激活阈限很低，虽然通过过滤装置衰减了，仍然容易被人们接受，并对此进行进一步的加工。

     注意的资源限制理论，指注意是一种非常有限的心理资源，所以执行了这项任务，分配给其较多的资源，另一项任务就会受到资源限制[1]。

注意力机制的生物神经学研究

     Nature杂志公布了一项有关注意力的最新研究成果[2]，来自加州大学戴维斯分校，Dartmouth's Geisel医学院的研究人员，分析比较了当个体集中注意力在能激活记录神经元视觉刺激的物体上，以及无法集中注意力的情况下，突触连接视觉之间的通信交流。

　 研究人员利用一种高灵敏度检测方法检查注意力对神经元-神经元通信之间的影响，证实注意力是在突触水平上进行操作，提高对输入信号的敏感性，并锐化这些信号的精确度，选择性地提高吸引注意力信息的传输，同时降低噪音水平，或干扰注意力信息的传输。

　 这一研究结果表明了一种新颖的作用机制，也就是注意力能通过选择性改变突触的“权重”，强化所有包括噪音在内感觉输入的感官特征，从而重塑神经感觉。

从计算、选择与学习谈注意力

      从计算谈注意力

      我们知道人类或动物，几乎每时每刻都在处理事情，在这里我把他叫做任务。其中很多任务都是即时的。动物成年后的大脑几乎不再增大，即大脑的神经元数量（N表示）几乎不变。因为大脑的处理单元为神经元（这里忽略突触对计算的贡献，根据现代神经网络的理论，可能突触对计算的贡献非常大），这里我们假设每个神经元的极限处理能力为A。理论上说一个动物的大脑的处理极限是N×A即NA，但是实际大脑的处理极限受到可用单位能量的限制，就像你用一块五号电池驱动多个小灯泡，灯泡越多灯越暗，最后因为灯泡太多灯泡就不亮了。

     这里我们可将电池比喻成大脑供给能源，假设电池的能量恒定（为P），灯泡比喻为神经元，灯泡亮了表示在计算，灯泡没亮表示未计算，灯泡亮所需的能量为L。这样我们知道电池能点量的灯泡是一定的即：S=P/L，其总的计算能力为：S×A，即SA。这样来看如果NA>SA那么计算的主要限制为能量，相反则主要限制为神经元。我们知道我们的大脑大概有860亿神经元，如此庞大的数字如果全部驱动起来可想而知。这里我们不假证明的认为计算的主要限制为能量。

     依假设，从上我们知道人脑的计算是有上限的，如果我们将注意力分散到很多任务上，假设每个任务需要的计算力为C，有K个任务需要处理，如果SA<C×K那么这些任务将不能被即时处理，甚至没有一个任务能被处理，因为我们很多时候都是与即时任务打交道，为了正常的处理即时任务，我们必然要先处理一部分任务，或者放弃其他的任务，尤其是在紧急关头的时候以及需要快速处理的任务的时候，注意力机制才能够更好的发挥其作用。

     这里还有一个问题，可不可能一个即时任务在有限的时间内处理不完？当然可能。就像下围棋一样，在读秒的时候可能就处理不完，但是因为我们意识的动态机制，如果处理不完，可能有两种机制，一是增大相关任务神经元的处理频率，弱化或不接受不相干神经元的处理；二是预测第一种机制完不成时直接丢弃，或者选择备用的简单方案。

     所以，从计算上来说，大脑的计算资源是有限的，注意力机制的存在使计算资源能够有效的分配到需要处理任务上，最大限度的处理任务。这种机制和现代操作系统中的CPU及内存等资源的动态分配相似。

     从选择机制与学习谈注意力

       由上，为了能够在需要快速处理的问题上有效，必然需要一个任务选择的机制存在，如果一个汽车向你飞驰而来，同时你看见地上有一块钱，这时重要的任务不言自明。这时任务选择的机制就起了作用，我们需要最大限度的完成自我保护的任务。而任务的选择机制并不是完全先天就有的（当然肯定有一部分重要的机制是先天就有的），就像初生牛犊不怕虎所说，小牛不知道老虎是危险的一样。任务选择就需要一个学习机制的存在，以使任务正确的被选择。

      从个人体验来看，注意力很多时候被意识所控制，即主动控制。这里到底需要几个控制器还不得而知，猜测上是两个：一个是潜意识的控制器，第二个是意识的控制器。潜意识的控制器主要是关心条件反射式的注意力问题（即被动控制），而意识的控制器主要关心主动控制的注意力问题。也有可能是潜意识和意识的控制器的合并，从概念上讲我们更愿意将功能分区，但是大脑的分区的功能并非完全独立，关于潜意识和意识这里受限于个人能力及现在神经生物学的发展，无法具体阐述。这里的控制器本身是学习器，即：具有学习功能的控制器，而学习可以使控制器更好的逼近于任务处理重要性，即时性，顺序性的解。

     但是对于意识的控制器来讲，似乎意识并不一定受任务处理重要性，即时性，顺序性的影响，甚至可以完全反向处理，意识几乎可以控制身体的绝大部分注意力；比如控制监听自己呼吸，运动，感觉，情绪；那么说明意识和潜意识可能有某种相互作用，潜意识更关心浅层比较本能的（直接映射）行为，意识则是更加高层更自由的（间接映射）控制策略，其选择哪个任务取决于两种作用的强度。

    这里作了一个关于大脑架构简要的猜想：

    其中每一个方块都代表一个学习器，学习器是大脑的一等公民，就像在函数式编程（如：scala，python等）中，函数是一等公民一样。而意识则更像是辅助学习器，控制器，与思考器的结合体。

    以一个例子结尾：我们学习开车，本身需要投入大量的意识注意力，而当我们学会了开车的时候这种有意识的行为会减到很少，就像是条件反射一样；这和上面神经生物学的研究输入信号的敏感性相似，突触权重调节本质是学习行为的表现，而当权重调节稳定的时候学习就接近尾声了，有意识的调节也接近尾声，但如果我们学习的其他技能要用到以前学习的神经元，这些神经元的权重调节还会重现。所以在这里猜想意识也是一个辅助学习器，潜意识更像是条件反射器，当潜意识学会了这种技能后，意识便很少再参与到这种技能的控制中[3]；就像武术的至高境界是完全忘了招式，“忘了” 是指招式已经内化为更像本能的条件反射行为。

参考：

[1] 浅谈注意力的认知理论

[2] Attention enhances synaptic efficacy and the signal-to-noise ratio in neural circuits

[3] 意识探秘：意识的神经生物学研究（美）克里斯托夫·科赫