Scaling Laws尺度定律科普报告智库

量子位智库 | 公众号 AI123All

都在说Scaling Laws，但什么是Scaling Laws？

Scaling Laws， 尺度定律 ，OpenAI在2020年提出，并在如今迅速成为AI行业共识的产业规律。尺度定律不仅影响着Transformer架构的大模型的发展，也影响着人工智能相关行业的发展。作为当前AI行业公认的 大模型第一性原理 ，其揭示的有关模型规模、数据量和计算资源之间的关系，更是为企业提供了可预见性的前进方向。

为了更系统科普阐释尺度定律，量子位智库发布最新研究报告： 《Scaling Laws尺度定律，如何影响AI研发和产业落地》 。（下载地址后附）

报告中，量子位智库将从 尺度定律是什么 、 尺度定律如何影响AI研发 、 涌现能力 、 尺度定律如何影响AI落地 以及 尺度定律的局限性 五个方向出发，立体解读尺度定律。 报告涵盖：

尺度定律指的是，以 Transformer架构 为研究目标的模型的性能和模型的大小，数据集的大小以及用于训练的计算量之间存在幂律关系，并且这些关系在7个数量级的范围内表现出稳定的趋势。

自论文提出以来，引起了大模型开发行业的高度关注，各大厂家纷纷参考尺度定律，扩大模型和数据规模来提升模型性能。

GPT系列从GPT-2的15亿参数到GPT-3的1750亿参数，GPT-4的参数虽未具体公布，但据声称达到了1.76万亿。

数据集方面，GPT-4采用了更多的训练样本以及合成数据，使得模型在理解未知数据和数学准确度上有了显著提升。

GPT-4在计算上使用了超算级别的计算资源以支持庞大的计算需求。

根据图上来看，从2019年至今，大模型进入军备竞赛。尺寸规模不断扩张。 其中

智能涌现 是随着模型扩大而突然出现的能力，这种能力未被明确编程，也不可预测，所以称之为智能涌现。

涌现能力最具代表的是自然语言理解与生成、多步骤推理、多模态理解与生成、少样本零样本学习。

智能涌现带来了应用端侧的实用性大幅度提高，产生了许多优秀的应用。

同时，一些企业也在寻找着不一样的模型开发线路。Llama系列在同等规模下，实现了更强的性能。

模型大小并非涌现能力的唯一因素，数据的质量和数量以及训练方法的优化同样扮演着重要角色。

从尺度定律所包含的三个方向解读，其主要发展困境如下图所示：

因此所带来的产业发展方向，量子位智库将其划分为四大部分：

最核心的还是核心的Transformer架构的自身局限性，因大多数模型采用压缩的方式进行训练，该方法带来的是知识储存量的增加，但智慧能力欠缺。如：人类基础认知架构、常识推理、因果理解、多模态整合等方向大模型的水平尚未达到可应用的水平。

因此，量子位智库认为尺度定律是通向AGI（通用人工智能）的重要组成部分，但可能不是全部答案。仍需要将不同学科底层打通，探索创新式架构等方式来解决通往AGI的更为广泛和综合的挑战。

不过，作为大模型第一性原理，或者第一个达成共识的产业规律，尺度定律对于整个AI领域的研发、落地和应用，或许会像摩尔定律一样，指引整个产业的潮水涌动方向。