大模型缩放定律深度技术分析：从Kaplan到Chinchilla到Test-Time Scaling的算力最优分配

关于"τ缩放定律"的说明：τ（tau）并非缩放定律的标准命名。它可能指代Kaplan等人2020年原始论文中描述学习率调度时使用的τ参数（表征训练步数的时间常数），也可能是中文社区对"缩放定律"（Scaling Laws）的音译缩写或笔误。本文将系统覆盖大模型缩放定律的完整技术体系。

缩放定律（Scaling Laws）是大模型时代最具预见性的科学发现。它回答了一个价值万亿美元的问题：给定一笔算力预算，你应该建一个多大的模型、喂多少数据？从2020年Kaplan等人在OpenAI发现Loss与参数量之间的幂律关系，到2022年DeepMind的Chinchilla证明"模型和数据必须等比例扩展"，再到2024-2025年Test-Time Scaling将推理计算纳入优化框架，缩放定律经历了三代范式演进。每一代都深刻改变了产业界的资源配置策略。

当前，缩放定律正面临其最根本的挑战：人类高质量数据预计在2026年耗尽^[10]，这意味着延续五年的"堆算力堆数据"范式可能走到尽头。与此同时，NVIDIA提出的三大Scaling Law框架——预训练扩展、后训练扩展、测试时扩展——为后数据时代的AI发展指明了三条并行路径^[6]。理解缩放定律，不仅是理解大模型的技术基础，更是理解整个AI产业投资逻辑的钥匙。面壁智能提出的Densing Law进一步指出，模型能力密度每100天翻倍^[14]——这意味着同样性能的模型，每100天所需的参数量减半。这一趋势正在加速AI的民主化进程。

幂律分布与缩放定律

缩放定律的数学本质是幂律分布（Power Law Distribution）。其一般形式为 y = ax^-b，核心特征是在双对数坐标系中呈直线。这意味着模型参数量和交叉熵Loss分别取对数后，会得到一条线性关系。这个发现的深刻含义在于——模型性能的改善是可预测的、可外推的。在Kaplan之前，深度学习社区相信"大模型好"的直觉，但缺乏量化框架。Kaplan的突破在于精确测量了幂指数，使大模型训练从"炼丹术"变成"工程科学"。

Kaplan公式

其中L为测试集交叉熵Loss；N为模型参数量；D为训练token数；E为不可约Loss（数据固有熵，约1.75 nats）；A、B为常数；α ≈ 0.076，β ≈ 0.095为幂指数^[1]。

公式揭示了三个关键事实：第一，Loss的下降没有"平台期"——在跨越6个数量级的参数范围内，幂律始终成立。第二，参数和数据的贡献可分离——N和D独立出现在两个加项中，可以分别分析效果。第三，E项的存在意味着存在不可突破的性能下限，自然语言的不可预测性本身设了天花板。

τ参数的含义

Kaplan论文中，τ出现在学习率调度分析中：最优学习率 λ_opt ∝ N^-τ，τ约0.05，意味着更大的模型需要更小的学习率。τ并非缩放定律的核心参数（核心是α和β），"τ缩放定律"最可能是Scaling Laws的简称或误称。

FLOPs估算

系数6的来源：前向传播约2N次FLOPs，反向传播约4N次FLOPs。例如，700亿参数模型用1.4万亿tokens训练，需约5.88×10²³ FLOPs，以H100 FP8算力（约2 PFLOPS）计算，需约1,000张H100运行一年。大模型训练需要万卡集群——不是奢侈，而是物理必然^[14]。

第一代：Kaplan (2020)——参数优先

Kaplan的核心结论是：在固定计算预算下，训练较大的模型、在较少数据上训练到收敛，比较小的模型更优^[1]。计算量放大10倍时，参数放大5.32倍（10^0.73），数据仅放大1.86倍（10^0.27）。这个"参数优先"策略直接催生了GPT-3的1750亿参数设计，以及此后持续数年的参数军备竞赛。

GPT-4的训练是Kaplan预测能力的经典验证。OpenAI用仅0.1%的计算量训练了多个小规模模型，精确预测了GPT-4在完整训练后的Loss值^[1]。这不仅节省了试错成本，更使"先小后大"的训练策略成为可能——先用小模型确定超参数，再放大到完整规模。

但Kaplan有一个隐含假设：模型训练到收敛。实践中大模型往往提前停止（因为成本太高），使"参数优先"结论被高估。Kaplan还发现样本效率随模型规模提升——大模型在每个token上获得更多信息量，存在规模与数据的"替代效应"。

第二代：Chinchilla (2022)——数据同等重要

DeepMind的Hoffmann等人通过400+配置的实验，发现计算量放大10倍时，参数和数据应各放大3.16倍^[2]：

最优token/参数比约20:1——70亿参数用1,400亿tokens，700亿参数用1.4万亿tokens。最惊人的验证：700亿参数的Chinchilla（1.4万亿tokens）全面超越2,800亿参数的Gopher（3,000亿tokens）。更小的模型，更多的数据，全面胜出。

Chinchilla与Kaplan的关键方法论差异在于：Kaplan在固定数据集上改变模型大小，Chinchilla则在固定计算预算下联合搜索最优N和D。这意味着Chinchilla考虑的是"训练不充分"的情况——更符合实际工程约束。

Chinchilla的产业影响是即时的。Meta的Llama系列直接遵循了Chinchilla定律：Llama 1的65B参数模型用1.4万亿tokens训练，Llama 3的405B参数模型使用了超过15万亿tokens——token/参数比约为37:1，远超Chinchilla的20:1建议^[5]。Google的PaLM和Gemini、Mistral系列也都将数据量置于参数量之上。整个行业从"参数军备竞赛"转向了"数据军备竞赛"。

第三代：Train-to-Test (2025)——推理也计入优化

威斯康星大学麦迪逊分校和斯坦福大学的研究者提出了一个更全面的优化框架^[8][15]：之前的缩放定律只优化训练阶段的计算分配，但如果将推理计算也纳入总预算，最优策略会怎样改变？

这并非纯学术问题。在实际部署中，总成本 = 训练成本 + 推理成本 × 服务次数。对于热门模型，推理成本可能远超训练成本。OpenAI的o1/o3通过"长思考"在推理阶段投入更多计算提升准确率，本质上是在用推理算力换性能。

Train-to-Test的核心发现是：在总计算预算（训练+推理）固定时，训练较小模型+更多数据+多次推理采样，比大模型单次推理更优。且推理成本非线性的二次方增长——存在一个最优推理计算投入点，超过后边际收益急剧递减^[8]。

维度	Kaplan (2020)[1]	Chinchilla (2022)[2]	Train-to-Test (2025)[8]
优化目标	训练Loss	训练Loss（修正Kaplan）	训练Loss+推理准确率
10倍算力→参数	×5.32	×3.16	视推理次数而定
10倍算力→数据	×1.86	×3.16	更多（小模型+大数据）
推理计算	不考虑	不考虑	纳入优化
最优token/参数比	~1.7:1（低估）	~20:1	可超20:1
核心洞察	"更大的模型更好"	"模型和数据同等重要"	"小模型+多推理更经济"
产业影响	GPT-3/4参数军备竞赛	Llama系列数据优先策略	o1/o3/DeepSeek R1推理扩展

Kaplan最令人惊讶的发现不是"大模型好"——这是所有从业者的直觉——而是"好多少"可以被精确预测^[1]。参数量每增加10倍，Loss就下降一个大致固定的量，这个关系在跨越6个数量级的参数范围内保持稳定。

第一，深度学习的性能提升没有理论天花板（至少在测试范围内）。传统统计学习理论预测，模型复杂度增加到一定程度后过拟合会导致性能下降。但在大语言模型规模上，过拟合不是主要问题——只要数据足够，更大的模型几乎总是更好。Kaplan将这归因于Transformer的"弱先验"特性：它几乎不做关于数据分布的假设，不会因为错误的归纳偏置限制性能上限。

第二，小实验可以预测大实验。GPT-4的训练是经典案例。OpenAI用0.1%计算量训练多个小模型，精确预测了GPT-4最终Loss^[1]。背后的数学是幂律的外推性：双对数坐标中是直线，两个点就能预测整条线。这使"先小后大"的训练策略成为可能。

第三，样本效率随规模提升。更大模型在每个token上获得更多信息量——大模型在看到1个token时获得的信息，相当于小模型看到多个token。模型规模和数据量存在"替代效应"。

第四，过拟合的规模依赖性。Kaplan发现，模型大小每增加约16倍，达到同样Loss所需的数据量大约增加1倍。这个关系也是幂律的：D_critical ∝ N^0.37。这意味着，在数据充足的情况下，过拟合几乎不是问题；但数据不足时，过拟合的严重程度与模型大小直接相关。这为后来Chinchilla强调数据重要性埋下了伏笔。

Chinchilla论文对AI产业的影响是深远的——它直接改变了从Meta到Google到OpenAI的模型设计策略^[2][4]。

DeepMind在2021年底发布Gopher（2,800亿参数，约3,000亿tokens训练）。按Kaplan"参数优先"策略，这是合理的——尽可能多塞参数。但Chinchilla论文指出：用同样的约5.76×10²³ FLOPs，按Chinchilla最优配比，应该训练一个700亿参数的模型，使用1.4万亿tokens。结果：Chinchilla在所有基准测试上全面超越Gopher，尽管参数量只有Gopher的四分之一。

这个结果的震撼力在于它挑战了一个根深蒂固的行业共识。GPT-3的175B参数、Google的540B PaLM、DeepMind自己的280B Gopher——所有人都在追逐更大的模型，认为"参数量=能力"。Chinchilla用实验数据证明：不是参数量不够，而是训练数据不够。

更深层的启示是计算效率的浪费。在Chinchilla之前，大量训练计算被浪费在了"喂不饱"的大模型上。一个2,800亿参数的模型如果只用3,000亿tokens训练，相当于一个壮汉只吃了一顿饭就去跑马拉松——有潜力但没发挥出来。Chinchilla之后，行业迅速转向"数据优先"策略。Llama 2的70B模型用了1万亿tokens，Llama 3的8B模型就用了15万亿tokens——token/参数比从14:1飙升至1,875:1^[5]。

C ≈ 6ND这个简洁公式的深层含义值得仔细解读^[2]。

第一，训练成本由参数和数据共同决定，且两者是乘积关系。这意味着如果你将参数量增加10倍但保持数据量不变，训练成本增加10倍；如果你同时将数据量也增加10倍，训练成本增加100倍。这就是为什么"同时做大模型和大数据"如此昂贵——成本是乘法关系，不是加法关系。

第二，Chinchilla最优策略的数学推导。给定固定计算预算C，要最小化 L(N, D) = E + A/N^α + B/D^β，受约束 C = 6ND。用拉格朗日乘数法求解，得到 N_opt ∝ C^a，D_opt ∝ C^b，其中a+b=1。Kaplan的实验给出a≈0.73（参数优先），Chinchilla的修正实验给出a≈0.50（参数数据等比例）。这个0.50意味着：在最优分配下，增加的算力应该"对半分"给参数和数据^[2]。

第三，双倍算力的实际收益。按Chinchilla定律，计算量翻倍（2×），参数和数据各增加约1.41倍（2^0.5）。Loss的改善约为：ΔL ≈ A/N^α × (1 - 1/1.41^α) ≈ 4.8%。这意味着双倍算力只带来约4.8%的性能提升——这就是缩放定律的"残酷"现实：性能提升的边际成本在加速递增^[9]。

第四，实际训练效率远低于理论。Meta在训练Llama 3 405B时使用的万卡H100集群，实际算力利用率仅约38%^[14]。这意味着6ND公式的"6"在实际中变成了"6/0.38 ≈ 16"——实际需要的GPU时间是理论值的2.6倍。算力利用率低下的原因包括：GPU间通信延迟、数据加载瓶颈、梯度同步开销、容错恢复等。这也是为什么NVIDIA和各芯片厂商在互联技术（NVLink、NVSwitch、InfiniBand）上投入巨资——提升算力利用率比增加GPU数量更经济。

缩放定律最根本的挑战不是算力——算力可以用钱堆——而是数据。Epoch AI的研究预测，人类的高质量语言数据将在2026年耗尽，低质量语言数据将在2030-2050年耗尽^[10]。

这到底意味着什么？让我们算一笔账。互联网上高质量英文文本的估计总量约为4.6×10¹²（4.6万亿）tokens，包括书籍、学术论文、维基百科、高质量新闻、代码仓库等。按Chinchilla定律，训练一个万亿参数的"最优"模型需要约20万亿tokens——已经超过了高质量数据总量。而Llama 3的训练数据14万亿tokens已经接近互联网可用数据的极限^[5]。

数据瓶颈的影响不仅在于"数量"，更在于质量。并非所有互联网文本都适合训练大模型。低质量内容（垃圾邮件、SEO文章、重复内容）会降低模型性能。Common Crawl的数据中，经过严格质量过滤后只有不到10%被保留用于训练。这意味着实际可用的高质量数据比总量少得多。

中国面临的数据挑战更为严峻。中文高质量文本的总量远少于英文——中国互联网的内容生态以封闭平台（微信公众号、微博、小红书）为主，大量优质内容无法被爬取。此外，中文的分词效率低于英文（一个汉字的信息熵高于一个英文字母），等效token数更少。这使得中国大模型的数据困境比全球平均更为严重^[10]。

面对数据瓶颈，产业界的应对方案是合成数据——用AI生成数据来训练AI。这看似是"自己拉着自己的鞋带拔起来"的逻辑悖论，但实践已经证明它是可行的。

AlphaGo的启示。2016年，DeepMind的AlphaGo通过"自我对弈"生成了数千万局围棋数据，完全不需要人类棋谱。这是合成数据的经典成功案例——在规则明确的封闭系统中，AI可以生成比人类数据更高质量的训练数据^[10]。但语言模型面临的挑战远比围棋复杂：自然语言没有明确的"胜负"标准，什么样的输出是"好"的需要额外定义。

当前合成数据的三大方向。第一，推理数据（Reasoning Data）。这是当前最成功的合成数据类型。通过让强模型（如GPT-4）生成详细的推理链（Chain-of-Thought），然后用这些推理链训练小模型。DeepSeek R1的"长思考"数据就是通过这种方式生成的。推理数据的优势在于：它是"过程数据"而不仅是"结果数据"——模型学到的不仅是答案，更是如何思考^[6]。

第二，代码数据。代码是天然的结构化数据——它有明确的语法、可验证的正确性（通过执行）、丰富的逻辑推理。GitHub上的代码已被大量用于训练，但更深层的利用方式是让AI编写代码、执行验证、保留正确的版本作为训练数据。这创造了"代码自举"循环：AI写代码→执行验证→用通过验证的代码训练下一代AI。

第三，环境反馈数据。通过与物理或虚拟环境交互获得反馈数据。例如，AI代理在沙盒环境中执行任务，成功路径作为正样本，失败路径作为负样本。这种数据的核心优势是无限供给——只要有计算资源，就可以生成任意多的交互数据^[10]。

合成数据的风险。"模型坍塌"（Model Collapse）是合成数据最被担忧的风险。研究表明，当AI模型的训练数据中包含越来越多由前代AI生成的内容时，模型输出会逐渐"坍塌"到少数模式——多样性下降，长尾分布消失。就像"复印件的复印件"，每一代都有信息损失。然而，2024-2025年的实践表明，精心设计的合成数据流程可以缓解这一风险：关键在于保持人类数据在训练混合中的比例，以及对合成数据进行严格的质量过滤和去重^[11]。

Test-Time Scaling（测试时扩展）是2024-2025年缩放定律最重要的新发展^[6][8]。它的核心思想是：不在训练时投入更多算力，而是在推理时投入更多算力。

OpenAI的o1模型是这一范式的开创者。o1在推理时不是直接生成答案，而是先进行一段"内部思考"（Chain-of-Thought），然后基于思考结果给出答案。这种"思考"过程本质上是在推理时运行了多次前向传播——将一个简单问题分解为多个子问题，逐一解决，再综合答案。o3进一步强化了这一能力，在数学、编程、科学推理等任务上展示了惊人的性能提升。

Test-Time Scaling的缩放特性与预训练缩放有根本区别。预训练缩放是"一次性投资"——训练成本固定，推理成本低廉。Test-Time Scaling是"按需投资"——每次推理都可以决定投入多少计算。这意味着：

第一，简单问题花少、复杂问题花多。系统可以自适应地分配推理算力：简单的事实性问答几乎不需要"思考"，复杂的数学证明可能需要数百步推理。这种弹性是预训练缩放无法提供的。

第二，推理成本与性能的权衡是可控的。Train-to-Test Scaling的研究表明，推理成本并非线性增长，而是二次方增长^[8]。这意味着存在一个最优推理投入点——超过这个点后，更多的推理计算带来的收益急剧递减。这一发现对于实际部署至关重要：你不能无限制地"多想一会儿"，必须找到性价比最高的"思考时间"。

第三，改变了模型评估的范式。传统评估假设模型"一次给出答案"，但Test-Time Scaling模型的性能取决于你愿意花多少推理计算。这意味着同一个模型在不同推理预算下有不同性能——评估报告必须注明推理计算量才能有意义地比较。

DeepSeek R1是中国在Test-Time Scaling方向上最具代表性的工作。它通过强化学习训练模型的"长思考"能力，在数学和编程基准上接近o1的性能，但训练成本远低于OpenAI。R1的成功证明：Test-Time Scaling不是OpenAI的专属路线，而是一条可行的、成本更可控的扩展路径。

NVIDIA在2025年提出的三大Scaling Law框架中，"后训练扩展"是连接预训练和推理的桥梁^[6]。后训练阶段包括三个主要技术方向，每个都有其独特的缩放特性。

RLHF（基于人类反馈的强化学习）是大模型"对齐"到人类偏好的核心技术。从Scaling Laws的角度，RLHF的关键发现是：对齐税（Alignment Tax）是可预测的。研究表明，RLHF训练后模型的性能变化可以用类似幂律的关系描述——更多的偏好数据带来更精确的对齐，但边际收益递减。OpenAI在InstructGPT上的实验表明，RLHF在约10万条人类偏好数据后就接近饱和。这意味着RLHF不需要海量数据，但需要高质量的偏好标注。

知识蒸馏（Knowledge Distillation）是将大模型的知识"压缩"到小模型中的技术。从Scaling Laws的角度，蒸馏的核心问题是：蒸馏损失的规律是什么？当前的经验观察是：蒸馏后的模型在同等参数量下，性能优于从头训练的模型约5-15%。这意味着蒸馏提供了一种"绕过"Chinchilla约束的方式——不是用更多数据训练，而是从更大的模型中"提取"知识。但蒸馏也有天花板：小模型的容量限制了它能吸收多少大模型的知识。

SFT（监督微调）是最直接的后训练方法。从Scaling Laws的角度，SFT的关键发现是"数据质量远比数据量重要"。Lima（Less Is More for Alignment）论文证明，仅用1,000条高质量指令数据微调，就能达到与数万条数据相当的效果。这与预训练的缩放定律形成鲜明对比——预训练是"越多越好"，SFT是"越精越好"。

后训练扩展的一个新兴方向是强化学习扩展（RL Scaling）。DeepSeek R1和Kimi K1.5展示了通过大规模强化学习（无需人类标注）来提升推理能力的路径。这里的缩放定律还在探索中，但初步证据表明：RL训练的计算量与推理能力提升之间也存在某种幂律关系，只是幂指数可能与预训练不同^[6]。

缩放定律不仅是学术发现，更是产业决策的科学基础。2026年全球AI基础设施投资预计超过7000亿美元^[13]，美国规划45GW大型数据中心、投资2.5万亿美元。这些天文数字背后，每一个决策都受到缩放定律的指导。

算力投资的最优分配

对于一家准备训练大模型的公司，核心问题是：有限的GPU预算怎么花？Chinchilla定律给出了明确答案：

第一，不要盲目追求参数量。如果你的GPU只够训练一个500B参数模型用5万亿tokens，不如训练一个200B参数模型用12.5万亿tokens。后者性能更好，且推理成本更低。这就是为什么2023-2024年发布的模型（Mistral 7B、Llama 3 70B）参数量反而比2022年的模型（PaLM 540B）更小——不是因为做不到更大，而是因为不经济。

第二，数据工程的价值被系统性低估。在Chinchilla框架下，数据量和质量的提升与模型规模的扩大同等重要。但行业中投入数据工程的资源远少于投入模型架构的。Meta在Llama 3上的成功很大程度上归功于其数据工程：严格的去重（在14万亿tokens中去除约40%的重复数据）、精细的质量过滤（使用多个质量分类器）、精心的数据配比（不同语言、不同领域的比例优化）。这些"脏活累活"带来的性能提升，可能比模型架构的微调更大^[5]。

第三，推理成本正在成为主导因素。Train-to-Test Scaling的研究表明，在考虑推理成本后，最优模型可能比Chinchilla建议的更小^[8]。对于服务数亿用户的模型（如ChatGPT），推理成本可能数倍于训练成本。这意味着，即使你有预算训练万亿参数模型，从总成本角度看可能并不最优。

Densing Law与AI民主化

面壁智能提出的Densing Law（能力密度定律）是缩放定律的一个有趣延伸：模型能力密度每100天翻倍^[14]。这意味着，同样性能的模型每100天所需的参数量减半。例如，2023年需要70B参数才能达到的性能，2024年可能只需要7B，2025年可能只需要700M。这一趋势正在加速AI的民主化进程：小公司和个人研究者也能训练出几年前只有科技巨头才能企及的模型。

Densing Law的驱动因素包括：更好的训练方法（如RLHF和RLAIF）、更高效的数据利用（合成数据和课程学习）、架构改进（如GQA、RoPE、Flash Attention）。这些"效率改进"共同作用，使得缩放定律的曲线不断下移——同样的计算量获得更好的性能，或者同样性能需要更少的计算。

中国大模型的缩放策略

中国大模型厂商面临的缩放约束更为严峻：美国芯片出口管制限制了高端GPU的获取，中文高质量数据相对匮乏，且国际主流数据集的使用可能受限。在这样的约束下，中国厂商的策略呈现出几个特点：

第一，数据工程优先。Qwen3-0.6B用36万亿tokens训练600M参数的60,000:1比例，展示了对数据利用的极致追求。这远超Chinchilla的20:1建议，说明在参数受限的情况下，用更多数据"喂饱"小模型是一种有效策略。

第二，推理扩展弥补训练不足。DeepSeek R1的"长思考"路线证明，即使训练算力不如美国顶级实验室，通过推理时投入更多计算也能获得强推理能力。这条路线对中国厂商尤其有吸引力——推理算力不受芯片出口管制限制（推理可以使用较旧或较低端的GPU）。

第三，架构效率优先。DeepSeek的MoE（混合专家）架构、面壁智能的MiniCPM系列，都展示了在有限算力下通过架构创新获得更高效率的路线。MoE架构特别适合中国场景：它可以在不增加推理成本的情况下扩大模型容量（只激活部分专家），这使得用有限GPU训练和部署更大模型成为可能。

Interactive Scaling：从内部扩张到外部交互

传统缩放定律关注的是模型的"内部扩张"——更多参数、更多数据、更多算力。但一个新方向正在浮现：Interactive Scaling（交互式扩展），即通过模型与外部世界的交互来提升能力，而非仅靠内部参数扩张。MiroThinker等模型探索了这一方向——让模型在推理过程中主动搜索外部信息、调用工具、与用户交互，通过"外部知识获取"来弥补内部知识的不足^[9]。

Interactive Scaling的缩放特性与传统缩放完全不同。传统缩放是"单次前向传播"的性能；Interactive Scaling是"多轮交互"的性能。后者的上限可能远高于前者——因为外部世界的信息量几乎是无限的（互联网、数据库、API）。但代价是延迟和成本的增加。如何建立Interactive Scaling的数学框架，是缩放定律研究的前沿方向之一。

MoE：以效率突破缩放瓶颈

混合专家（Mixture of Experts, MoE）架构是对传统缩放定律的一个重要修正。MoE的核心思想是：不是每个token都通过所有参数，而是为每个token动态选择一部分"专家"（参数子集）来处理。DeepSeek-V3使用了256个路由专家（每个token激活8个），总参数量达671B，但每次推理只激活约37B参数。

MoE对缩放定律的影响是双重的：一方面，它打破了"N越大推理越贵"的线性关系——总参数N可以很大，但推理只使用N的一小部分。另一方面，它引入了新的缩放维度——专家数量和路由策略。MoE的最优缩放策略可能与Dense模型完全不同，但相关研究刚刚起步。初步证据表明，MoE的缩放效率优于Dense模型：在同等训练FLOPs下，MoE模型的Loss低于Dense模型^[7]。

新架构挑战Transformer的二次复杂度

Transformer的自注意力机制具有O(n²)的计算复杂度——序列长度翻倍，计算量增加4倍。这在长上下文场景中成为瓶颈。RWKV和Mamba等新架构通过线性注意力或状态空间模型实现O(n)的复杂度，理论上可以在长序列场景中大幅降低计算成本。

从缩放定律的角度，新架构的核心问题是：它们是否满足同样的幂律关系？目前的研究表明，线性注意力模型在中小规模上确实展示出类似的缩放特性，但幂指数可能不同。这意味着新架构的"最优扩展策略"可能需要重新推导。一个关键假设是：如果新架构的系数（6ND中的"6"）可以被降低，那么同等算力可以训练更大的模型或使用更多数据。

持续学习：摆脱对人类数据的依赖

当前大模型训练的隐含假设是：存在一个固定的、有限的数据集，模型在上面训练一次然后部署。持续学习（Continual Learning）挑战了这一假设——模型应该能够不断从新数据中学习，而不遗忘旧知识。

持续学习对缩放定律的影响是根本性的：如果模型可以持续学习，那么"数据耗尽"就不再是问题——每天产生的新数据（新闻、论文、代码、对话）都可以成为训练数据。但持续学习面临"灾难性遗忘"问题：新知识会覆盖旧知识。解决这一问题需要新的训练范式（如弹性权重巩固、经验回放等），以及新的缩放定律来描述"持续学习模型"的性能与训练时间的关系^[10]。

多模态缩放定律：尚待开拓的领域

当前缩放定律主要针对文本模型。但GPT-4o、Gemini 2.0等多模态模型正在将视觉、音频、视频等模态纳入统一框架。多模态缩放定律的核心问题是：不同模态的数据如何"等价"？1000张图片等价于多少tokens的文本？1小时视频等价于多少数据？不同模态的"信息密度"差异巨大，简单的token数比较是不够的。多模态缩放定律的建立需要全新的度量体系，这可能是未来2-3年缩放定律研究最重要的方向之一。

大模型缩放定律的故事，是一部从"经验直觉"到"精确科学"的进化史。Kaplan在2020年发现了第一个幂律关系，证明了"更大的模型更好"可以被精确量化。Chinchilla在2022年纠正了"参数优先"的偏见，证明了数据同等重要。Train-to-Test Scaling在2025年将推理计算纳入优化框架，开辟了新的扩展维度。每一代缩放定律都引发了产业策略的深刻调整——从参数军备竞赛到数据军备竞赛，再到推理算力军备竞赛。

当前，缩放定律正站在一个十字路口。一方面，数据瓶颈的阴影正在逼近——2026年高质量数据耗尽的预测如果成真，延续五年的"堆规模"范式将走到尽头。另一方面，三大扩展方向——预训练（合成数据突破瓶颈）、后训练（RLHF/蒸馏/RL提升效率）、测试时（推理算力换性能）——为后数据时代提供了多条并行路径。

缩放定律最深刻的启示可能是：AI的进步不是魔法，而是物理学。就像摩尔定律指导了半导体产业五十年的投资，缩放定律正在指导AI产业的万亿级投资。它告诉我们，进步是可预测的、可量化的、有边界的。幂律关系的存在意味着进步永远不会"突然加速"——它是以递减的边际收益稳步推进的。这对投资节奏、技术路线、竞争格局都有深远影响。

最终，缩放定律的终结可能不是因为算力不够、不是因为数据耗尽，而是因为我们找到了不需要"缩放"的智能范式——也许是某种效率远高于Transformer的新架构，也许是某种不需要海量数据的推理范式，也许是某种将AI与人类知识深度融合的混合系统。在那一天到来之前，缩放定律仍将是大模型产业最可靠的罗盘。