“节拍器”测试的巨大成功,让“未来智能项目组”的所有成员都沉浸在一种强烈的兴奋之中。他们不仅在理论上,更在实践中,证明了“非确定性”与“可塑性”相结合的全新范式,是完全可行的。
这种兴奋,在徐涛的推动下,迅速转化为了向更高目标发起冲击的强大动力。
“一次成功的实验,说明不了全部问题。”在当天下午的项目复盘会上,士气大振的徐涛站在屏幕前,目光扫过在场的每一个人,“‘记忆’一个简单的节律,只是第一步。我们必须立刻验证,我们的‘SNN-plasticity V1.0’模型,是否具备处理更复杂任务的学习能力。”
他的目光,最终落在了屏幕上那个熟悉的、由黑白像素构成的数字图像上。
“所以,我决定,立刻重启我们上次惨败的任务——识别mNISt手-写数字数据集。”
这个决定,立刻得到了所有人的响应。上一次,他们的“混沌神经元网络”在这个最基础的测试面前,表现得如同一堆无用的代码,那条混乱的损失函数曲线,是整个项目组心头的一根刺。
现在,是时候拔掉它了。
测试环境被迅速搭建起来。还是那个由十万个神经元构成的三层网络,还是那个包含了六万张训练图像和一万张测试图像的数据集。
唯一的不同,是这一次,网络的每一个“突触”,都拥有了“赫布理论”赋予的、动态学习的能力。
“为了更好地观察学习过程,我们这次采用‘增量学习’的模式。”高翔在一旁补充了测试方案的细节,“我们先只用数字‘0’到‘4’的训练数据,对网络进行第一阶段的训练。等它学会识别这五个数字后,我们再用‘5’到‘9’的数据,进行第二阶段的训练。”
这种模式,更接近人类循序渐进的学习方式。
“好,就这么办!”徐涛搓了搓手,脸上是抑制不住的期待,“我倒要看看,我们这个能‘记忆’的新大脑,到底有多聪明!”
他深吸一口气,在控制台上,敲下了执行训练的命令。
所有人的目光,再次聚焦到了主屏幕上。代表着网络损失函数和识别准确率的两条曲线,开始缓缓地从屏幕左侧延伸出来。
这一次,奇迹发生了。
那条代表着损失函数的蓝色曲线,不再像上次那样剧烈震荡,而是在短暂的波动后,开始稳步地、持续地下降!
而另一条代表着识别准确率的红色曲线,则昂着头,一路攀升!
10%……30%……70%……90%……
控制中心里,所有人都屏住了呼吸,紧张地看着那条不断向上攀爬的曲线。
时间过去了半个小时。
最终,损失函数曲线收敛到了一个极低的值,而识别准确率曲线,则稳稳地停在了99.7%的位置!
成功了!
网络,完美地学会了识别数字“0”到“4”!
“太棒了!”索菲亚兴奋地挥了一下拳头。
“准确率非常高,远远超过了同等规模的传统SNN网络。”李哲也在一旁赞叹道。
这个结果,无可辩驳地证明了,“突触可塑性”机制,确实赋予了这个混沌的网络,以极其强大的、高效的学习能力。
“别急,还有第二阶段。”徐涛强压住内心的激动,保持着科学家的冷静。
他立刻下达了第二条指令:保持网络现有权重不变,开始载入数字“5”到“9”的训练数据集,进行第二阶段的增量学习。
所有人都期待着,网络能够像一个聪明的学生一样,在已经掌握的知识基础上,继续学习新的内容,最终成为一个能识别所有十个数字的“全科优等生”。
训练再次开始。
屏幕上的曲线,也如大家预期的那样,损失函数开始新一轮的下降,而网络对新数字(5-9)的识别准确率,也开始稳步攀升。
一切看起来都非常顺利。
然而,就在这时,负责监控全局性能的周嘉豪,突然发现了一个异常。
“徐老师,高老师,你们看这个!”他指着屏幕一个不起眼的角落,那里显示着网络对旧知识(0-4)的实时测试准确率。
屏幕上,那个原本高达98.7%的数值,正在断崖式下跌!
99.7%……85%……60%……40%……
就像一块被迅速融化的冰块,网络对它刚刚才完美掌握的知识,正在以肉眼可见的速度,迅速地“遗忘”!
最终,当网络对新数字(5-9)的识别准确率,也攀升到99%以上,成功完成第二阶段学习时,它对旧数字(0-4)的识别准确-率,已经惨不忍睹地掉到了30%以下!
控制中心里,刚刚还洋溢着喜悦的气氛,瞬间凝固了。
所有人都呆呆地看着屏幕上那个残酷的对比,仿佛被浇了一盆冷水,从头凉到脚。
“怎么……怎么会这样?”索菲亚喃喃自语,脸上的笑容早已消失不见。
徐涛的脸色,也变得无比凝重。他立刻暂停了所有测试,下达了一条新的指令。
“立刻对网络训练前、第一阶段训练后、以及第二阶段训练后的三份突触权重矩阵,进行可视化对比分析!”
“神威之心”迅速响应。三张代表着整个网络连接状态的“大脑地图”,被并列显示在了屏幕上。
看着这三张图,问题的根源,被赤裸裸地揭示了出来。
第一张图(训练前),是一片均匀的、代表着随机连接的“灰色地带”。
第二张图(学会0-4),在这片灰色地带上,出现了一些清晰的、被强化了的“高亮”通路。这正是网络储存着关于数字“0”到“4”知识的“记忆回路”。
而第三张图(学会5-9),则让所有人都倒吸了一口凉气。屏幕上,为了学习新的知识,网络中又涌现出了一大片全新的、“更高亮”的通路。然而,这些新建立的、过于强大的连接,像野蛮生长的藤蔓,粗暴地干扰、覆盖、甚至直接“改写”了之前那些储存着旧知识的通路!原本清晰的旧“记忆回路”,变得支离破碎,面目全非。
“我明白了……”高翔的声音有些低沉,“这就是人工智能领域最着名的难题之一——‘灾难性遗忘’。”
“为了学习新的知识,”他指着那张被“污染”了的权重地图,“网络中的神经元,‘不顾一切’地将有限的突触资源,投入到了对新模式的学习中。这种毫无节制的‘强化’,最终导致了对旧有记忆结构的灾难性破坏。”
这个发现,让所有人都从刚才的狂喜中,彻底冷静了下来。
他们满怀希望地创造出了一个学习能力极强、反应迅速的“天才”。
却没想到,这个“天才”,是一个记忆力极差、喜新厌旧、学了后面忘了前面的“偏科生”。
“我们该怎么办?”周嘉豪有些茫然地问道,“难道我们每教它一样新东西,都要把所有旧东西都带着一起复习一遍吗?那样的训练成本,将是无法接受的。”
徐涛没有说话,他只是死死地盯着屏幕上那张被新知识“冲刷”得面目全非的旧记忆地图,眉头紧锁。
如何让网络在拥抱新知识的同时,还能温柔地保护好那些珍贵的旧记忆?
这个更接近真实大脑学习与记忆机制的、无比棘手的难题,如同一片巨大的阴影,笼罩在了“未来智能项目组”所有成员的心头。