“未来智能项目组”的会议室里,气氛压抑。
那三张并列的、触目惊心的突触权重矩阵图,还停留在全息屏幕上,像三份无法回避的“罪证”,无声地宣告着他们刚刚经历的那场“灾难性”的失败。
“我们尝试了降低学习率,也试过在损失函数中增加对旧任务的‘记忆’惩罚项。”索菲亚疲惫地汇报道,她的面前,是一沓打印出来的、新的测试结果,“但效果都不理想。要么,新知识的学习速度变得极慢;要么,旧知识的遗忘速度只是稍微减缓,但最终还是会被覆盖。”
“看起来,‘复习’是绕不过去的。”周嘉豪也补充道,“我们测试了混合训练的模式,也就是在训练新数字的同时,把旧数字的数据也掺进去一起训练。这样做,确实可以解决遗忘问题,但训练成本,正如之前所担心的,随着知识库的扩大,会急剧增加,最终变得不可行。”
团队陷入了一个两难的境地。他们创造出的“可塑性”网络,像一个没有自控能力的“暴食症患者”,对新知识的渴望会摧毁它已经拥有的一切。
在穷尽了所有计算机科学领域的常规解决方案后,徐涛做出了一个决定。
“把问题,正式提交给丰院士。”他对众人说,“我们不能再闭门造车了。这个问题,很可能已经超出了算法优化的范畴,答案,或许还藏在生物学之中。”
第二天上午,一场由丰院士亲自主持的问题研讨会,在同一间会议室召开。
徐涛将他们遇到的“灾难性遗忘”问题,以及所有的测试数据、失败的尝试,都毫无保留地向丰院士作了完整的汇报。
在徐涛讲述的过程中,会议室里的年轻成员们,表情都有些沮丧和不安,仿佛是一群搞砸了实验、等待老师批评的学生。
然而,出乎所有人意料的是,从头到尾安静地听完汇报的丰院士,脸上非但没有任何意外或失望的表情,反而露出了一个“果然如此”的、了然于胸的微笑。
“很好,非常好。”丰院士开口的第一句话,就让所有人都愣住了。
他看着徐涛、高翔和索菲亚,眼中充满了赞许:“你们只用了这么短的时间,就通过自己的实践,精准地复现并定位了‘赫布理论’模型最根本的内在缺陷。这个过程,比我看过的任何一篇综述论文,都更加深刻。恭喜你们,你们已经真正踏入了类脑智能研究最核心的无人区。”
这番话,非但没有批评,反而给予了极高的肯定,让团队压抑的气氛顿时为之一松。
“丰院士,”徐涛不解地问道,“您似乎对这个结果,一点也不意外?”
“当然不意外。”丰院士笑了笑,站起身,走到了白板前,“因为,你们犯了一个所有初涉这个领域的计算机科学家都会犯的错误。你们只给了你们的人工大脑一个无比强大的‘油门’,却忘记了给它装上一个同样重要的‘刹车’。”
他在白板上,画了一个简单的神经元细胞,上面有代表着输入的“树突”和代表着输出的“轴突”。
“你们引入的‘赫布理论’,也就是‘突触可塑性’,它是一个正反馈机制。”丰院士解释道,“一个信号通路被使用的频率越高,它的连接就越强,从而导致它在未来更容易被再次使用。如果只有这个机制,那么网络中必然会形成‘赢家通吃’的局面。少数几个被率先强化了的‘记忆回路’,会像滚雪球一样,不断抢占和吞噬整个网络的资源,最终导致系统的崩溃,或者像你们遇到的那样,新知识会粗暴地覆盖旧知识。”
“生物大脑,当然也存在这个问题。但它在数亿年的演化中,进化出了一套极其精妙的、与之抗衡的负反馈调节系统。”
丰院士在“突触可塑性”的旁边,写下了另一个关键的名词:
“突触稳态(Synaptic homeostasis)”
“‘稳态’,顾名思义,就是维持稳定。”丰院士的声音变得沉稳而有力,“生物大脑中,除了那个让连接‘越来越强’的‘油门’,还存在一种同样重要的、让系统‘回归平衡’的‘刹车’。”
他看向在场的众人,深入地解释道:“这种机制,体现在多个层面。比如,在单个神经元内部,就存在一个负反馈调节系统。当这个神经元的某些突触,因为持续的学习而被过度强化时,细胞会自动合成一些特殊的蛋白质,去普遍性地、非特异性地下调其他所有突触的连接强度。它就像一个智能的‘资源管理员’,会说:‘嘿,你这个记忆太占地方了,得分一点资源给别人。’”
“再比如,整个神经元自身的兴奋性,也是可以被调节的。如果一个神经元在一段时间内放电过于频繁,它的激活阈值就会被自动调高,变得‘不那么容易兴奋’。反之,如果它长时间处于沉寂状态,它的激活阈值就会被调低,变得更‘敏感’。”
“正是通过这些复杂的、多层次的‘补偿机制’,”丰院士做出了总结,“生物大脑才能在一个动态的、不断学习新知识的过程中,始终将整个网络的总激活水平,维持在一个相对稳定的、健康的范围之内。它既防止了任何一种记忆‘独霸’整个神经元资源,也为新旧记忆的和平共存,提供了最根本的可能。”
丰院士的这番讲解,像一道光,瞬间照亮了整个团队的思维盲区!
所有人都恍然大悟!
他们之前所有的努力,都集中在如何“强化”连接上,却从未想过,还需要一个同样重要的“削弱”和“平衡”机制!
一个健康的学习系统,需要的不仅仅是“强化”,更需要“平衡”!
“我明白了!”高翔的眼中,再次迸发出了那种理论被点通时的光芒,“这在物理上,就构成了一个完整的‘驱动-耗散’系统!‘赫布理论’是驱动力,它将能量和信息注入系统,形成有序结构。而‘突-触稳态’,则是耗散和阻尼,它防止系统因为正反馈而走向能量崩溃!两者共同作用,才让系统最终能够稳定在我们之前讨论的那个‘自组织临界’状态!”
“完全正确!”丰院士赞许地看着他。
“那我们的下一步就很明确了。”徐涛立刻接口道,他脸上的阴霾一扫而空,取而代之的是新一轮的、高昂的斗志,“高师兄,你和丰院士团队合作,尽快构建出能够描述‘突触稳态’的数学模型!”
他转向索菲亚,眼神中充满了挑战的意味:“索菲亚,我们准备给我们的‘混沌神经元’,加上第二个,也是最关键的一个升级补丁——一个智能的、懂得自我平衡的‘刹车系统’!”