人工智能不只能看"平面世界"，还能观察四维时空

科恩知道，提高神经网络数据效率的一种方法是，预先对数据进行一定的假设——比如，肺肿瘤仍然是肺肿瘤，不管它在图像中处于旋转状态，还是被反射出来。通常来说，卷积网络必须使用许多相同模式的不同定向的示例进行训练，从头开始学习这些信息。2016年，科恩和韦林合著了一篇论文，定义如何将其中的一些假设作为几何对称编码到神经网络当中。这种方法非常有效，2018年科恩和玛丽西娅·温克尔斯(Marysia Winkels)进一步推广了这种方法，证明了其在CT扫描图中识别肺癌方面有着喜人的效果：他们的神经网络仅使用用于训练其他网络的十分之一的数据，就能识别出这种疾病的视觉证据。

在此基础上，阿姆斯特丹的研究人员继续进行归纳。这就是他们如何实现规范等变的过程。

“等变”思维延伸

物理学和机器学习有一个基本的相似之处。正如科恩所说，“这两个领域都与观察和建立模型来预测未来观察结果有关。”他指出，至关重要的是，这两个领域都不是在寻找单个物体的模型——给予氢原子和颠倒的氢原子不同的描述，并不好——而是在寻找一般范畴的物体的模型。“当然，物理学在这方面是相当成功的。”

等变化(物理学家喜欢用“协方差”)是自爱因斯坦以来的物理学家用来归纳他们的模型的一种假设。 “这就意味着，你对一些物理现象的描述，应该与你使用什么样的‘标尺’无关，也与你是什么类型的观察者无关。” 阿姆斯特丹大学理论物理学家米兰达·郑（Miranda Cheng）说。或者正如爱因斯坦本人在1916年所说的那样：“自然的一般规律是由适用于所有坐标系的方程来表达的。”

通过利用了这一原理的一个简单例子—— “平移等变”——卷积网络成为最成功的深度学习方法之一。发现图像中的某个特征（如垂直边缘）的窗口过滤器会在像素平面上滑动(或“平移”)，并对所有的这些垂直边缘的位置进行编码；然后，它会创建一个标记这些位置的“特征图谱”，并将其传递到网络中的下一层。由于平移等变，创建特征图谱是可能的：神经网络“假设”，相同的特征可以出现在二维平面的任何地方，并且能够将垂直边缘识别为垂直边缘，无论它在右上角还是左下角。

“等变神经网络的关键在于，把这些明显的对称性放到网络结构中。”韦勒说。

2018年，韦勒、科恩和他们的博士生导师马克斯·韦林已经将这种理念扩展到了其它的等变种类。他们的“群等变”卷积神经网络可以发现平面图像中的旋转或反射特征，无需就那些定向的特征的具体例子进行训练；球形卷积神经网络可以根据球体表面的数据创建特征图谱，而且不会将其扭曲为平面投影。

这些方法仍然不够通用，无法处理具有凹凸不平、不规则结构的流形方面的数据——这些结构描述了几乎所有物体的几何结构，从土豆到蛋白质，再到人体，再到时空曲率。这些类型的流形不具有“全局”对称性，因此神经网络无法对其进行等变假设：它们上面的每个位置都是不同的。

挑战在于，在平面上滑动平面过滤器可以改变过滤器的方向，具体取决于其选择的特定路径。不妨设想一个被设计来发现简单的模式的过滤器：左侧是一个黑色的斑点，右侧是一个浅色的斑点。在平面上将它向上、向下、向左或向右滑动，它会始终保持右侧朝上。但在球面上，这种情况会发生改变。如果你把过滤器在球体的赤道周围移动180度，过滤器的方向将保持不变：左侧是黑点，右侧是浅色点。然而，如果你让它先穿过球体的北极，再将它滑动到相同的位置，过滤器就颠倒了——右侧是黑点，左侧是浅色点。过滤器不会在数据中发现相同的模式，也不会编码出相同的特征图谱。在一个更复杂的流形上移动过滤器，它可能会指向任意的不一致的方向。

幸运的是，物理学家们已经解决了同样的问题，并找到了一个解决方案：规范等变。

韦林解释说，关键是要忘记跟踪过滤器在不同路径上移动时的方向变化。相反，你可以只选择一个过滤器方向，然后定义一种一致的方式来将所有其他的方向转换成它。

问题是，虽然初始取向时可以使用任意的计量指标，但在将其他的指标转换为那个参照系时，必须要保留基本模式——就像将光速单位从米/秒转化为英里/小时的时候，必须保留基本的物理量。韦林说，通过这种规范等变方法，“实际的数字会改变，但它们的变化是完全可预测的。”

科恩、韦勒和韦林在2019年将规范等变编码到他们的卷积神经网络当中。他们实现这一点的方式是：对神经网络通过卷积在数据中“看到”的东西设置数学约束；只有规范等变模式通过神经网络层传递。“基本上你可以赋予它任何的表面——从欧几里得平面到任意弯曲的物体，包括像克莱因瓶或四维时空这样的奇特流形——不管在什么表面上，都能很好地进行深度学习。”韦林说道。

工作原理

规范等变卷积神经网络的理论是如此的泛化，以至于它自动地整合了以前的几何深度学习方法的内在假设，如球面上的旋转等变。就连布朗斯坦早期的方法——让神经网络识别弯曲成不同姿势的单一3D形状——也适用于它。“规范等变是一个非常广泛的框架。它包含了我们在2015年所做的特殊设置。”布朗斯坦说。

从理论上讲，规范等变卷积神经网络可适用于任何维度的曲面，但科恩和他的合著者已经在全球气候数据上进行了测试。这些数据必然有一个基本的三维球面结构。他们用他们的规范等变框架构建了一个卷积神经网络，该卷积神经网络被训练来从气候模拟数据中发现极端的天气模式，如热带气旋。2017年，政府和学术研究人员使用标准的卷积网络来从数据中发现热带气旋，准确率高达74%；去年，规范等变卷积神经网络以97.9%的准确率发现这种气旋。(它的准确率也超过了2018年专为球体设计的一种不太通用的几何深度学习方法——该系统的准确率达94%。)

（编辑：186手机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!