希腊哲学家柏拉图在大约385 B写过苏格拉底挑战一个学生的“正方形加倍”问题。当被要求将正方形的面积加倍时，学生将每边的长度加倍，却没有意识到新正方形的每边都应该是原来对角线的长度。

剑桥大学和耶路撒冷希伯来大学的科学家选择了这个问题ChatGPT，因为它的解决方案不明显。自从柏拉图在2400年前写作以来，学者们一直在用平方翻倍问题来争论解决它所需的数学知识是否已经在我们体内，通过理性释放，或者只能通过经验获得。因为ChatGPT像其他大型语言模型一样，主要是在文本而不是图像上训练的，他们推断平方翻倍问题的答案不太可能存在于训练数据中。这意味着如果它在没有帮助的情况下得到正确的解决方案，人们可以争辩说数学能力是后天习得的，而不是天生的。

当研究小组走得更远时，答案出现了。9月17日，在《国际科学技术数学教育杂志》上发表的一篇研究文章中，他们要求聊天机器人使用类似的推理将一个矩形的面积翻倍。它的回答是，因为矩形的对角线不能用来使其大小翻倍，所以在几何学上没有解决方案。

然而，来自耶路撒冷希伯来大学的剑桥大学访问学者Nadav Marco和数学教育教授Andreas Stylianides知道存在几何解。

马可说，ChatGPT训练数据中存在虚假声明的可能性“非常小”，这意味着它是根据之前关于平方问题翻倍的讨论即兴做出的反应——这清楚地表明了生成的学习，而不是天生的学习。

“当我们面对一个新问题时，我们的本能往往是根据我们过去的经验尝试一些东西，”马可在9月18日的一份声明中说。“在我们的实验中，ChatGPT似乎做了类似的事情。就像学习者或学者一样，它似乎提出了自己的假设和解决方案。”会思考的机器？科学家们说，这项研究为人工智能版本的“推理”和“思考”的问题提供了新的线索。

因为它似乎是即兴反应，甚至像苏格拉底的学生一样犯错误，马可和斯蒂利亚尼德斯建议ChatGPT可能在使用一个我们已经从教育中知道的概念，叫做最近发展区（ZPD），它描述了我们所知道的和我们最终可能知道的之间的差距，如果有正确的教育指导。

他们说，ChatGPT可能会自发地使用类似的框架，解决训练数据中没有表现出来的新问题，这要归功于正确的提示。

这是人工智能中长期存在的黑匣子问题的一个明显例子，在黑匣子问题中，系统为得出结论而进行的编程或“推理”是不可见和无法追踪的，但研究人员表示，他们的工作最终凸显了让人工智能更好地为我们工作的机会。

“与著名教科书中的证明不同，学生不能假设ChatGPT的证明是有效的，”斯蒂利亚尼德斯在声明中说。“理解和评估人工智能生成的证明正在成为需要嵌入数学课程的关键技能。”这是他们希望学生在教育环境中掌握的一项核心技能，他们说这需要更好的即时工程——例如，告诉人工智能“我希望我们一起探索这个问题”，而不是“告诉我答案”。"

该团队对结果持谨慎态度，警告我们不要过度解释它们，并得出结论认为LLM像我们一样“解决问题”。但是，马可确实将ChatGPT的行为标记为“学习者式”

研究人员看到了几个领域未来研究的空间。较新的模型可以在更广泛的数学问题上进行测试，还有可能将ChatGPT与动态几何系统或定理证明器结合起来，创造更丰富的数字环境，支持直观的探索，例如，教师和学生在课堂上使用人工智能合作的方式。