在人工智能领域的风起云涌中，DeepAI公司的CEO Kevin Baragona在2024 T-EDGE创新大会暨钛媒体财经年会上分享了他对当前大模型行业发展的深刻见解。这一行业在过去一年中经历了翻天覆地的变化，引发了广泛关注。
据业内专家李开复观察，从GPT-4、Turbo、4o到o1，大模型的推理成本在过去一年里显著下降了大约10倍。整个行业正以惊人的速度推进，实现推理速度的提升和成本的降低。然而，随着算力不断提升，基础大模型的Scaling Law法则开始遭遇挑战。由于全球数据总量的限制，大模型的发展速度开始放缓。
Kevin Baragona在大会现场针对这一行业困境，给出了他的独到见解。DeepAI作为美国领先的生成式AI供应商之一，提供了一系列出色的AI工具，包括文生图、文生视频、音乐创作和开发人员API等。这些工具使个人创作者和企业能够轻松使用先进的AI功能，实现创意和实用应用的多样化。
Baragona回忆道，过去AI曾是一个令人羞愧的词，因为数十年来几乎没有任何实质性进展，AI开发者常被嘲笑。然而，2024年，我们正处于AI的黄金时代，每个月都能见证巨大的进步。他强调，推动这一切的最大动力是计算成本的大幅下降。对于整个AI行业来说，已经没有秘密可言，只需要不断购买算力和数据，进行大规模实验，就能不断优化AI性能。
然而，随着算力和数据的不断增加，AI行业也发现了一个问题：大语言模型的进展开始变得缓慢。Baragona认为，尽管大语言模型的发展可能还没有停止，但确实有所放缓。他指出，放缓的最本质原因是现实世界的数据有限，可用于大模型训练的数据几乎已经用尽。因此，人类需要寻找新的架构来替代现有的架构。
DeepAI找到的解决方案是回到模型架构本身的优化上，特别是优化模型的推理架构。在这一路径下，大模型一开始的推理时间、数据训练和测试时间会更长，但对数据量的要求会大幅降低。随着推理模型各个步骤的优化，推理速度将加快，AI性能也会变得更强。Baragona表示，在全新的架构下，算力将变得越来越廉价，但AI性能可能达到难以想象的结果。
在演讲中，Baragona还分享了DeepAI在图像生成和视频生成方面的突破。他提到，在DeepAI刚刚起步时，图像生成效果并不理想，用户输入的文字提示往往只能得到模糊不清、缺乏连贯性的图像。然而，如今生成的图像质量已经质的飞跃，几乎达到了摄影作品般的清晰度与真实性。不仅如此，AI还能生成许多现实中并不存在的奇幻图像，充分展示了其泛化能力。
Baragona还提到，人工智能的发展并非一帆风顺。在过去几十年里，AI经历了漫长的“寒冬期”，神经网络和深度学习技术一度饱受诟病，被视为不太可靠的技术。从事深度学习研究的人员常被外界调侃为不切实际的“小丑”。然而，近年来，随着GPT-3等模型的发布，深度学习技术逐渐得到了广泛认可，推动了AI的迅猛发展。
他强调，推动AI近年来迅猛发展的关键因素是计算成本的大幅降低。这使得研究人员能够投入更多的计算资源，推动模型的训练与优化。以英伟达为例，它之所以在AI领域取得巨大成功，是因为能够以较低的成本提供高效的矩阵乘法运算能力。
然而，随着AI技术的日益强大与普及，也引发了广泛的社会关注与讨论。一些人担忧AI的潜在危险性，呼吁对其进行严格的监管与限制。与此同时，各国和企业都在竞相投入资源，力争在AI领域占据领先地位。这种矛盾的心态在行业内普遍存在，导致AI研究与开发变得更加保密。
尽管如此，Baragona认为，AI背后的核心数学原理与技术框架并非神秘莫测。真正的“秘密武器”在于能够将海量的计算资源与庞大的数据集进行有效整合，训练出功能强大的人工智能模型。这就像一场资源与数据的“炼金术”，通过巧妙的调配与运用，实现AI模型性能的飞跃。
最后，Baragona提到了大型语言模型的发展是否已经进入停滞期或平台期的问题。虽然大型语言模型并没有完全停止前进，但发展速度确实有所放缓。他认为，数据资源的匮乏是主要瓶颈。然而，他并不认为研发全新模型架构是解决问题的关键，因为机器学习的核心在于通过数据拟合模型，只要数据量足够丰富、计算资源充足，不同架构在性能上的差异并不会太大。
Baragona认为，重新审视对AI模型的期望与定位可能是应对当前困境的一种思路。他强调，真正的“圣杯”级目标是让模型具备强大的推理能力，能够灵活应用所学知识解决各种新问题。近年来，人们开始尝试专门针对推理任务进行模型训练，取得了一定的成果。
