【ALENG 自媒体】10月25日晚间自媒体专稿，我们每天都在跟 AI 聊天、写稿、画图，可有一个问题大概谁都想过：它到底是怎么”想”出那些答案的？长久以来，大模型在人们眼里是个不折不扣的黑箱——你能训练它、调用它，却很难说清它内部那一团上亿个参数究竟如何一步步完成推理。但最近一篇在圈内引发激烈争论的长文，可能要让这个”黑箱”的说法打个折扣了。
先说这件正在发生的事。
10月15日，可解释性创业公司 Goodfire 的研究员、也是 OpenAI 早期机制可解释性工作的参与者 Nick Cammarata，发表了一篇题为《Neural Networks Are Already Clean》（神经网络已经很整洁）的长文。他对自己主导的一项初步审计给出了一组惊人数字：在通义千问的开源大模型 Qwen3-32B 里，大约 90% 的”神经元极点”只有一个主要功能，另有约 7% 承担两个相关功能，只有 2% 到 4% 暂时还说不清在干什么。据 The Decoder 等媒体此后的报道，这个发现正在动摇一个流行多年的核心假设。
过去，可解释性领域几乎是悲观的。主流解释叫”叠加”（superposition）：因为神经元不够用，网络会把彼此很少冲突的无关概念硬塞进同一个神经元，看起来就像一团乱麻。一个被反复引用的经典案例是图像模型 InceptionV1 里的某个神经元，据说它既对猫脸有反应，又对汽车前脸有反应。”多义性”由此成了黑箱难以破解的代名词，研究者们不得不用稀疏自编码器之类的工具，费力地把混在一起的特征一点点拆开。
但 Cammarata 说，当年的结论可能读错了。
他的新解释叫”递归泛化”（recursive generalization）：那些看似同时响应多种事物的神经元，并不是把互不相关的概念搅在一起，而是在检测一个更底层、更通用的基础模式。那个经典的”猫脸加汽车前脸”神经元，本质或许不是同时记住两个物体类别，而是捕捉”V 形轮廓”这一基础视觉特征——猫的下颌、汽车格栅、火焰尖端，刚好都共享这个底层结构。是人类习惯按”物体类别”去理解，才误以为神经元功能杂乱。换句话说，黑箱未必是真的乱，可能是我们手里的”显微镜”太差了。
值得注意的是，让这场认知反转成为可能的，恰恰是 AI 自己。Cammarata 在文中描述了一套让 AI 智能体自动工作的闭环：由智能体去做神经元归因、提出假设、生成反例并验证，再对神经元做干预测试，不再是研究者趴在屏幕前一个一个肉眼标注。也正是在这套代理式方法的帮助下，同一个 Qwen3-32B 的可读比例从 2023 年早期工具只能读懂约 1.7% 到 2%，一路跳到了九成。还有一个反常识的结论：模型越大，神经元分工往往越精细，可解释性反而更容易，而不是越复杂越不可读。
不过，先别急着宣布黑箱已死。
圈内对这个主张的反应相当分裂。OpenAI 的 Roon 称之为”可能载入史册的时刻”，而 Google DeepMind 的可解释性研究者 Neel Nanda 则明确警告不要过度炒作。Cammarata 本人也把文章定位为”工作假设”而非定论，承认一份完整的配套技术论文尚未发布，那九成比例取决于”一个功能”究竟怎么定义，万亿参数模型距离被完全读懂更是遥遥无期。它解决的只是单个神经元功能识别这一层，多层神经元之间如何组织成回路、注意力如何调度、长链条推理如何涌现，依旧充满未知。
但即便只是这一层被重新理解，意义也已足够清晰。如果神经元真的多数可读，那么 AI 安全审计就能精准定位风险来源，模型能力可以定向微调，我们或许能从”调参炼丹”走向对智能机理的工程化掌握。黑箱没有在一夜之间消失，但它正在从一个不可拆解的谜团，变成一张可以逐块绘制的地图——而这张地图画到的地方，AI 才真正开始变得可被信任。
【配图】