您的位置:首页 >人工智能 >正文

数据显示最近十年的一些AI进步可能是虚幻的

在过去的十年中,随着GPU计算,软件算法和专用硬件设计的发展,人工智能和机器学习已成为研究的主要温床。新数据表明,过去十年中至少有一些算法上的改进可能比以前认为的要小。

致力于验证各种AI算法的长期改进的研究人员发现,在多种情况下,对旧解决方案的适度更新使它们能够与据称已取代它们的较新方法相匹配。该团队比较了十年内发布的81种不同的修剪算法,但没有发现明确且明确的证据表明在这段时间内有所改进。

据麻省理工学院计算机科学专业的研究生戴维·布拉洛克(David Blalock)说,在发表了50篇论文之后,“很明显,目前还没有什么先进的技术。”Blalock的顾问John Guttag博士对此消息表示惊讶,并对《科学》杂志说:“那是旧锯,对不对?如果您无法测量某些东西,那么很难将其改善。”

顺便说一句,像这样的问题正是MLPerf计划如此重要的原因。我们需要客观的测试,科学家可以用来对模型和硬件性能进行有效的交叉比较。

研究人员特别发现,在某些情况下,一旦对旧方法进行了调整以提高其性能,则较旧且较简单的算法就能够跟上新方法。在一种情况下,对七种基于神经网络的媒体推荐算法的比较表明,其中六种算法比较早,更简单的非神经算法差。康奈尔(Cornell)对图像检索算法的比较发现,自从2006年更新了旧方法以来,性能就从未改变过:

在这里我要强调一些事情:首先,有很多AI收益并不是虚幻的,例如AI视频升频器的改进或相机和计算机视觉的显着进步。GPU在AI的计算上比2009年要好得多,并且在2009年也不存在专门的加速器和2020年针对AI的特定AVX-512指令。

但是我们不是在谈论硬件在执行AI算法方面是变大还是变好。我们正在谈论底层算法本身,以及在AI模型中有用的复杂程度。实际上,我一直在直接学习有关此主题的知识。我和我的同事David Cardinal一直在从事一些与AI相关的项目,这些项目与我在DS9高端项目中所做的工作有关。算法的根本改进很困难,许多研究人员也没有动力去充分测试一种新方法是否真的比旧方法好-毕竟,如果您发明一种全新的方法来做某事而不是调整某人,那看起来会更好。其他创建。

当然,这并不是说新模型也没有为该领域做出任何有用的贡献那样简单。如果研究人员发现优化可以改善新模型的性能,并且发现这些优化也适用于旧模型,那么这并不意味着新模型就无关紧要。建立新模型是首先发现这些优化的方法。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。