抽象推理——在先容方法前，我们首先要理解这个观点，它可以参照古希腊学者阿基米德的著名业绩：Eureka。

一次，国王请阿基米德在不毁坏王冠的条件下丈量它是否掺假，这使他头疼不已。
沐浴时，他创造当自己坐进浴盆里后，水会溢出来，这使他想到：溢出来的水的体积恰好该当即是他身体的体积，这意味着，不规则物体的体积可以精确的被打算。
如果工匠往王冠里掺了假，这个王冠的体积就和原材料的体积不一样。
想到这里，阿基米德快乐地裸奔进了城里，并边跑边喊叫着“Eureka！
尤里卡！
”！

通过意识到溢出的水即是物体体积，阿基米德在观点层面理解了体积，并办理了不规则形状物体的体积打算问题。
这便是我们要磋商的抽象推理。

我们希望人工智能也能有类似的能力，虽然目前一些系统已经可以在繁芜计策游戏中击败天下冠军，但它们在其他看似大略的问题上却宛如“智障”，特殊是须要在新环境中重新运用抽象观点时。
举个例子，如果之前我们是用三角形演习AI系统的 ，那么即便演习到最佳状态，如果我们把三角形换成正方形、圆形，这个AI就什么都不会了。

因此，为了构建更好、更智能的系统，理解神经网络处理抽象观点的办法和弱点非常主要。
我们从人类智商测试中汲取灵感，创造了一种量化抽象推理的方法。

智商测试

在先容数据集前，读者不妨先来测测自己的智商。
下面是3道题，已知每道题中九宫格的末了一幅图缺失落，请从下列8个选项中选出最得当的一个，使之呈现一定的规律性。

题1

题2

题3

大家都做出来了吗？

答案1：计数圆点数量：第一行2,3,4，第二行3,4,5，第三行2,3,？。
由此规律可得，末了一幅图该当有4个圆点，选择A。

答案2：首先，纵向来看，每一列都包含1个三角形、5个三角形、7个三角形三种图案，以是末了一幅图该当只有1个三角形，答案可能是A、C、D、E、H。
其次，横向来看，第一行三幅图都有一条横线、一条左上-右下的斜线，第二行都有一个正方形，以及一条右上-左下的斜线，而第三行两幅图的相同点是都有一条右上-左下的斜线。
综上，选择A。

答案3：首先，和上一题的推理方法类似，纵向来看三列都是等差数列，末了一幅图该当包含5个图形；横向来看，末了一行都有一条左上-右下的斜线，答案可能是A、E、H。
其次，我们看颜色，图中有白、灰、黑三种填色，每列都包含这三种，以是末了一幅图的图形该当是玄色的。
综上，选择A。

创建抽象推理数据集

如上节所示，我们在进行标准智商测试时，即便只是看几个大略图形回答问题，我们也要结合日常学习到的履历。
比方说，看着不断长高的树木或是拔地而起的高楼，我们可以理解什么是“演化”（progressions）；通过不断积累数学知识，我们可以理解什么是“演化”；通过查看自己银行账户上的定期利息，我们也能感想熏染到“演化”（表示属性增加的观点）。
有了这个根本，我们就能在解答上述问题时运用这一观点，推断图形数量、大小、颜色的顺序性演化。

但我们的机器学习系统还没有类似的“日常体验”，这也意味着我们没法轻易衡量它是怎么把现实天下知识用于办理抽象问题的。
只管如此，有了这些智商测试题，我们也能创建一个实验设置，来测一测现有模型的“智商”。
须要把稳的是，由于日常生活太繁芜，这里我们用的是图形推理问题，磨练的是模型如何用抽象推理把这题的解题思路推广到下一题。

既然目的是让AI做题，我们先得有题啊！
当然了，手动搜集整理是不可能的，为了创建题库，首先我们构建了一个可以自动天生推理题的天生器，它包含一组抽象元素，包括它们的颜色、大小等属性的“演化”。
虽然元素不多，但它们足以天生大量互不相同的问题。

接着，我们对天生器可用的元素和组合进行了约束，得到了包含不同问题的演习集和测试集，换言之，就像练习册和考卷，即便我们刷遍了练习册上的题，但老师在考卷上出的题总是新的。
举个例子，在演习集中，有一种演化关系只会在线上涌现，但在测试集上，这种演化却也涌如今图形上，如果模型真的节制了这种规律，无论是线条还是图形还是其他没见过的东西，它该当都能活学活用。
（数据已开放，如有须要请私信）

AI能进行抽象推理的证据

在实验中，演习数据和测试数据是从同一根本分布中采样的，即“考试”时都是常规题，难度没有提高，也没有特殊的“加分题”。
我们测试的神经网络都表现出了很好的泛化偏差，一些模型的准确率乃至超过75%，令人惊异。
如下图所示，我们构建了一个可以明确打算不同图像元素间的关系，并在这根本上评估答案的模型WReN（Wild Relation Network），它的性能是最好的。

β非零时表示利用了meta-target演习，即针对各元素进行过演习

但这个实验也表示了几个问题。
对付演习集和测试集中都包含的相同的几何演化，比如线条上的逻辑演化，神经网络学得很好，无论线条怎么变，只要还是线条，它都能学甚至用。
但是如果涉及把线条的规律推广到其他图形上，神经网络就表现得很差了，这也是测试集得分比较低的主因。
尤其是当模型在演习集中学到的是深色图形演化，而我们在测试集上把深色改成了浅色，它们的性能会更差。

末了，当我们的模型不仅能预测精确答案，还能预测答案的“推理过程”时，我们创造它在演习集、测试集上的得分更靠近了，也便是泛化性能更好了。
更有趣的是，我们创造，如果模型能理解图中各元素背后的精确关系，那它预测的准确率就高，反之，准确率就低，里面存在一个正干系。
这表明，当模型能精确推断出任务背后的抽象观点时，它们可以得到更好的性能。

上：包含单个元素和多个元素的不同问题；下：模型答案预测和观点预测的关系

关于“泛化”的新认知

最近许多论文在集中磋商神经网络对付办理机器学习问题的优缺陷，而大家辩论的矛头常日是网络的泛化能力。
根据我们的研究结果，现阶段关于泛化能力的谈论彷佛都是无益的：经测试，这些神经网络在一些地方展现出了很好的泛化性，但在另一些地方却表现很差。
这种泛化性取决于一系列成分：

模型的架构；模型有没有经由针对性演习；模型能否为其“答案”供应可阐明的“情由”；

最少到目前为止，只要神经网络模型碰着的是完备不熟习的输入，或是完备不熟习的元素，它的表现都难以令人满意。
这一点是非常关键、非常主要的，AI的抽象推理能力还有待提高，这也是未来事情中必须重视一个明确焦点。