第390期：没有语料，大模型就是智障

如果现在做一个问卷调查，问大家“你觉得大模型是否具有智能？”我相信，大多数人会是肯定的回答。哪怕现在只是 AI 的初级阶段，大模型已经能够替代很多的人类智力劳动，确实非常神奇。但是，我们不要忘记真实情况，大模型不是魔法，更不是具有自主智能的“硅基智能体”，而是基于统计规律的语言模型，它的一切行为都基于数学计算。最好的证据就是，如果让它解决没有训练过的题目，也就是不存在统计规律的话，它根本解不出来。这就是我今天想分享的一个实验。

两位国外的研究者找了五个主流的大模型：GPT-5.2、O4-mini、Gemini 3 Pro、Qwen3-235B、Kimi K2。他们让大模型使用五种小众的编程语言——Brainfuck、Befunge-98、Whitespace、Unlambda 和 Shakespeare——来编程解决各种问题。这些小众语言的共同特征是，网上很少有它们的资料，因此不能用来训练大模型。大家猜猜看，结果怎么样？

实验结果用一句话总结，就是大模型的表现一塌糊涂。这五个大模型的平均答题正确率仅为3.8%，即100道题可以答对3.8道。相比之下，它们处理 Python 问题的正确率可以达到90%。更尴尬的是，仅有的那几道答对的题目，都是入门级。更难的级别（初级、中级、高级），所有五个大模型的正确率都为0。

这个实验充分说明了，大模型的表现（智能程度）首先由训练材料决定：训练的语料越多，表现越好，比如 Python 的语料遍地都是，大模型因此极其擅长解决 Python 问题；训练的语料越少，大模型表现就越差，简直跟智障一样，没什么用处。那么，一个让人好奇的问题就来了：如果某种冷门语言没有语料，但有一本很详尽的《使用手册》，我们让大模型学习这本手册，它是否就能学会这种冷门语言编程呢？