“机器学习周期表”或将推动人工智能的发现

“机器学习周期表”或将推动人工智能的发现

麻省理工学院的研究人员创建了一个元素周期表，展示了 20 多种经典机器学习算法之间的联系。这个新框架揭示了科学家如何融合不同方法的策略，以改进现有的人工智能模型或创建新的模型。

例如，研究人员使用他们的框架结合两种不同算法的元素来创建一种新的图像分类算法，其性能比目前最先进的方法高出 8%。

元素周期表源于一个关键理念：所有这些算法都学习数据点之间的特定关系。虽然每种算法实现这一点的方式可能略有不同，但其背后的核心数学原理是相同的。

基于这些见解，研究人员确定了许多经典人工智能算法背后的统一方程。他们利用该方程重新构建了常用方法，并将它们整理成一个表格，根据每种方法学习到的近似关系进行分类。

就像化学元素周期表最初包含空白格，后来被科学家填满一样，机器学习的周期表也存在空白。这些空白预测了算法应该存在但尚未被发现的位置。

麻省理工学院研究生、该新框架论文的主要作者 Shaden Alshammari 表示，该表为研究人员提供了设计新算法的工具包，而无需重新发现以前方法中的想法。

“这不仅仅是一个比喻，”Alshammari补充道。“我们开始将机器学习视为一个具有结构的系统，它是一个我们可以探索的空间，而不仅仅是猜测。”

与她共同撰写该论文的还有谷歌AI感知研究员John Hershey、麻省理工学院研究生Axel Feldmann、电子工程与计算机科学Thomas and Gerd Perkins教授兼计算机科学与人工智能实验室（CSAIL）成员William Freeman，以及麻省理工学院研究生兼微软高级工程经理Mark Hamilton。该研究将在国际学习表征大会（ICRE）上发表。

一个偶然的等式

研究人员并没有打算创建机器学习的周期表。

加入 Freeman 实验室后，Alshammari 开始研究聚类，这是一种机器学习技术，通过学习将相似的图像组织到附近的聚类中来对图像进行分类。

她意识到自己研究的聚类算法与另一种经典的机器学习算法——对比学习——类似，于是开始深入研究其中的数学原理。Alshammari 发现，这两种截然不同的算法可以用相同的底层方程重新构建。

“我们几乎是偶然发现了这个统一的方程式。当Shaden发现它能连接两种方法时，我们就开始构思新的方法，将其纳入这个框架。我们尝试过的几乎每一种方法都可以加入进来，”Hamilton说道。

他们创建的框架——信息对比学习（I-Con）——展示了如何通过这个统一方程式来审视各种算法。它涵盖了从检测垃圾邮件的分类算法到支持法学硕士（LLM）的深度学习算法等各种算法。

该方程描述了此类算法如何在真实数据点之间找到联系，然后在内部近似这些联系。

每种算法都旨在尽量减少它学习近似的连接与训练数据中的真实连接之间的偏差量。

他们决定将 I-Con 组织成一个周期表，根据点在真实数据集中的连接方式以及算法近似这些连接的主要方式对算法进行分类。

“这项工作进展缓慢，但一旦我们确定了这个方程的一般结构，就更容易在我们的框架中添加更多的方法，”Alshammari 说。

发现工具

在排列表格的过程中，研究人员开始发现可能存在算法但尚未被发明的空白。

研究人员借鉴了对比学习的机器学习技术，并将其应用于图像聚类，填补了一项空白。他们开发出一种新算法，对未标记图像的分类准确率比另一种最先进的方法高出 8%。

他们还使用 I-Con 展示了如何使用针对对比学习开发的数据去偏技术来提高聚类算法的准确性。

此外，灵活的元素周期表允许研究人员添加新的行和列来表示其他类型的数据点连接。

汉密尔顿说，最终，以 I-Con 为指导可以帮助机器学习科学家跳出固有思维模式，鼓励他们以原本不可能想到的方式结合各种想法。

“我们已经证明，仅仅一个非常优雅的方程式，植根于信息科学，就能提供涵盖机器学习领域百年研究成果的丰富算法。这为探索开辟了许多新的途径。”他补充道。

“如今，作为一名机器学习研究人员，最具挑战性的或许是每年涌现的论文数量似乎数不胜数。在这种背景下，能够统一并连接现有算法的论文至关重要，但这类论文却极其罕见。I-Con 为这种统一方法提供了一个绝佳的范例，并有望激励其他人将类似的方法应用于机器学习的其他领域，”耶路撒冷希伯来大学计算机科学与工程学院教授 Yair Weiss 说道（他并未参与这项研究）。

这项研究的部分资金来自空军人工智能加速器、美国国家科学基金会人工智能与基础相互作用研究所以及广达计算机。