"苦涩教训"的发明者警告：人工智能科学还远未达到目标
2026年11月11日 · 阅读 1 分钟
"苦涩教训"的发明者对大规模语言模型的热情者发出了警告。图灵奖得主理查德·萨顿在最新的帖子中指出，单靠原始计算能力不足以实现智能，人工智能科学"还远未达到目标"。他的观点在人工智能圈引起了广泛共鸣。
萨顿在2019年的著名论文《苦涩教训》中认为，长期来看，与计算能力相关的一般方法将战胜精巧的人类专门开发的解决方案。他强调，关键在于能够随着计算能力增长的理念，而不是依赖于人类的先入之见。
萨顿的观点并不新颖。他在早期声明中就已批评了大型语言模型单纯扩展的局限性，认为合成数据是一个"重大错误"，因为真实世界的复杂性是无穷无尽的，而任何模拟都只是"微不足道"。人类的专业知识作为瓶颈阻碍了真正的扩展。
他提倡使用具有世界模型的代理，能够通过自身的经验不断学习。他指出，世界的复杂性远超互联网文本所能展现。当前的语言模型在训练后不再继续学习，需要持续学习而不破坏旧有知识。
人工智能研究者杰里·特沃雷克认为，尽管"苦涩教训"依然适用，但随着更多计算能力投入模型训练，算法的重要性也随之增加。
一些算法能够扩展，而另一些则陷入死胡同，许多扩展维度仍未被充分探索。变压器扩展的短期成功以及对苦涩教训的误解，已使一代科学家的思维受到迷惑。