官方网站-首页

原文：Small Language Models are the Future of Agentic AI，2025年6月02日，https://arxiv.org/pdf/2506.02153

原作者：Peter Belcak等8位，NVIDIA Research & Georgia Institute of Technology

编译者：唐隆基博士

编译者注：本文编译者曾在2024年元月发表的研究报告《全球生成式人工智能（GenAI）在供应链领域创新应用展望》中讨论了这类大模型和行业专业级的小模型(SLM)，并指出就工业应用而言，SLM会更省成本，更具实用价值，并且更少风险(如幻觉等)。此外，LLM的一个趋势是其可定制化，即从其产生出定制的专业SLM。但我觉得这样产生的模型未必完整和专业。直接创建专业SLM应该更专业完整。对于供应链行业的人工智能应用，希望创建如供应链一类的专业语言模型。Belcak 等人（NVIDIA Research）最新论文对SLM好处的科学论证震撼了我。该文的标题《小型语言模型是代理人工智能的未来》就指明了代理人工智能应用的一个正确方向。该文指出：“小型语言模型 (SLM)功能强大，本质上更适用，并且对于代理系统中的许多调用而言必然更经济，因此代表了代理人工智能的未来。我们的论证基于 SLM 所展现的当前能力水平、代理系统的通用架构以及 LM 部署的经济性。” 该文中还列举了案例，釆用障碍等，可供读者参考。为此全文编译如下，供读者学习参考。 

摘要

大型语言模型 (LLM) 因其在各种任务上展现出接近人类的表现而备受赞誉，并因其进行一般对话的能力而备受推崇。然而，代理人工智能系统的兴起正催生出大量应用，在这些应用中，语言模型会重复执行少量专门的任务，且变化不大。

本文阐述了以下观点：小型语言模型 (SLM)功能强大，本质上更适用，并且对于代理系统中的许多调用而言必然更经济，因此代表了代理人工智能的未来。我们的论证基于 SLM 所展现的当前能力水平、代理系统的通用架构以及 LM 部署的经济性。我们进一步指出，在通用对话能力至关重要的情况下，异构代理系统（即调用多个不同模型的代理）是自然的选择。我们讨论了在代理系统中采用 SLM 的潜在障碍，并概述了一种通用的 LLM 到 SLM 代理转换算法。

我们的立场以价值声明的形式提出，强调了即使只是从 LLM 部分转向 SLM，也将对 AI 代理行业产生运营和经济影响的重要性。我们旨在激发关于如何有效利用 AI 资源的讨论，并希望推动降低当今 AI 成本的努力。我们诚邀各方对我们的立场提出贡献和批评，并承诺将所有此类来信发布在research.nvidia.com/labs/lpr/slm-agents上。

1.介绍

代理型人工智能的部署正在迅速增长。最近的调查显示，超过一半的大型IT企业正在积极使用人工智能(néng)代(dài)理(lǐ)，其(qí)中(zhōng)21%的企业在过去一年内就已采用【12】。除了用户之外，市场也看到了人工智能代理的巨大经济价值：截至 2024 年底，代理人工智能领域的初创资金已超过 20 亿美元，估值为 52 亿美元，预计到 2034 年将增长到近 2000 亿美元【42，47】简而言之，人们越来越期待人工智能代理在现代经济中发挥重要作用(yòng)。

大(dà)多(duō)数(shù)现(xiàn)代(dài)人(rén)工智能代理的核心组件是（非常）大型的语言模型【48，44】。正是 LLM 提供了基础智能，使代理能够做出战略决策，决定何时以及如何使用可用工具，控制完成任务所需的操作流程，并在必要时将复杂任务分解为可管理的子任务，并执行行动规划和解决问题的推理【48，14】。然后，典型的 AI 代理只需向托管这些模型的集中式云基础设施发出请求，即可与选定的 LLM API 端点进行通信【48】。

LLM API 端点专门设计用于使用一个通用的 LLM 来处理大量不同的请求。这种运营模式在行业中根深蒂固——事实上，它如此根深蒂固，以至于构成了大量资本押注的基础：尽管代理应用程序所依赖的 LLM API 服务市场规模在 2024 年估计为 56 亿美元【26】，同年对托管云基础设施的投资激增至 570 亿美元【72】投资与市场规模之间10倍的差距是可以接受的，因为人们认为这种运营模式将仍然是行业的基石，不会有任何实质性的改变，而且巨大的初始投资将在3-4年内带来与传统软件和互联网解决方案相当的回报【53】。

在本研究中，我们承认标准操作模型的主导地位，但口头上挑战了它的一个方面，即代理访问语言智能的请求——尽管相对简单——却通常由通才 LLM 的单一选择来处理。我们陈述（第2节 ）、论证（第3节 ）和辩护（第 4节）以下立场：小型而非大型语言模型是代理 AI 的未来。然而，我们认识到商业承诺和现在遗留的实践是造成目前相反状态的原因（第5节 ）。作为补救，我们提供了将代理应用程序从 LLM 迁移到 SLM 的转换算法大纲（第 6节），并呼吁进行更广泛的讨论（第7节 ）。如果需要具体化我们的立场，我们附上一组简短的案例研究，估计在选定的流行开源代理中 LLM 到 SLM 替换的潜在程度（附录 B）。

2.立场陈述

2.1 定义

为了具体化我们的立场，我们使用以下工作定义：

1. WD1：SLM是一种可以安装在常见消费电子设备上的 LM，它可以以足够低的延迟执行推理，以便在满足一个用户的代理请求时实用。

2. WD2：LLM是 LM，但不是SLM。

我们在附录 A中解释了这些定义的措辞，但请注意，它们的选择与我们立场的本质几乎没有关系。我们注意到，截至2025年，我们愿意将大多数参数规模低于100亿的模型视为SLM。

我们交替使用“代理”和“代理系统”这两个词。当强调具有某种代理性的软件整体时（例如，“正如流行的编码代理所见”），我们倾向于使用前者；当强调代理应用的系统性，即其各个组件的总和时（例如，“代理系统中并非所有语言模型 (LM) 都可以被语义语言模型 (SLM) 取代”）。为了简洁起见，我们专注于语言模型作为代理应用的基石，并未明确考虑视觉语言模型，但我们注意到，我们的立场和大多数论点也很容易扩展到视觉语言模型。

2.2 陈述

我们认为 SLM

1. V1 ：主要足够强大，可以处理代理应用程序的语言建模任务；

2. V2 ：本质上比 LLM更适合在代理系统中使用；

3. V3 ：由于体积较小，对于代理系统中的绝大多数 LM 用途而言，其必然比通用的 LLM更经济；

并且基于项目 V1、V2和 V3，SLM 是代理 AI 的未来。

我们立场的措辞是经过深思熟虑的。在声明中，我们希望传达这样的信息：如果遵循自然优先顺序，所描述的未来发展最终是SLM和LLM之间差异的必然结果。我们并非提出建议，亦非试图强加义务——我们发表的声明，我们认为这忠实地反映了社群在这种背景下的价值观。

2.3 细化

我们断言，LLM 在 AI 代理设计中的主导地位既过分，又与大多数代理用例的功能需求不符。虽然 LLM 提供了令人印象深刻的通用性和对话流畅性，但在已部署的代理系统中，大多数代理子任务都是重复性的、范围有限的、非对话式的——这就需要高效、可预测且成本低廉的模型。在这种情况下，SLM 不仅能够满足需求，而且通常更受欢迎。它们具有诸多优势：更低的延迟、更低的内存和计算需求，以及显著降低的运营成本，同时还能在受限领域保持足够的任务性能。

我们的立场源于对代理架构中语言模型使用模式的务实看法。这些系统通常将复杂的目标分解为模块化的子任务，每个子任务都可以由专门的或经过微调的语言模型 (SLM) 可靠地处理。我们认为，坚持使用语言模型 (LLM) 来处理所有此类任务反映了计算资源的错配——这种错配在经济上低效，在环境上也不可持续。

此外，在需要通用推理或开放域对话的情况下，我们提倡使用异构代理系统。在这种系统中，默认使用状态语言模型 (SLM)，并选择性且谨慎地调用逻辑语言模型 (LLM)。这种模块化组合——将状态语言模型的精确性和效率与逻辑语言模型的通用性相结合——能够构建既经济高效又功能强大的代理。

最终，我们观察到，将范式从以 LLM 为中心转变为以 SLM 为先的架构，对许多人来说不仅代表着技术上的改进，也代表着休谟式的道德应然。随着人工智能社区努力应对不断上升的基础设施成本和环境问题，在代理工作流程中采用并规范 SLM 的使用，对于促进负责任且可持续的人工智能部署至关重要。

3.立场论证

我们通过以下非排他性论据支持项目 V1、V2和 V3。

3.1 SLM已经足够强大，可用于代理

A1 

SLM 足够强大，足以取代代理系统中的 LLM。此论证支持了V1项 。

过去几年，小型语言模型的能力取得了显著提升。尽管语言模型的缩放规律依然存在，但模型规模与能力之间的缩放曲线正变得越来越陡峭，这意味着新型小型语言模型的能力更接近之前的大型语言模型。事实上，最近的进展表明，精心设计的小型语言模型能够达到甚至超越此前只有更大型模型才能达到的任务性能。

下文引用的各项研究都与大型模型进行了广泛(fàn)的(de)比(bǐ)较(jiào)，但(dàn)并非所有基准测试所评估的能力对于它们在代理情境中的部署都至关重要。本文重点介绍了它们在常识推理（基本理解的指标）、工具调用和代码生成方面的能力（这两项指标都表明了它们在模型→工具/代码界面之间进行正确通信的能力；参见图 1【74，75】）。和指令遵循（能够通过代码←模型接口正确响应；【80】）。在每种情况下，如果作者提出，我们也会引用效率的提高。

• 微软 Phi 系列。Phi -2（2.7bn）在运行∼15×快点【34】， 小型（70亿）【3】 实现了与同代模型相当的语言理解和常识推理能力，代码生成分数高达 700 亿。

• NVIDIA Nemotron-H 系列。2 /4.8/9bn 混合 Mamba-Transformer 模型实现了与同代密集 30bn LLM 相当的指令跟踪和代码生成精度，而推理 FLOP 仅为其数量级的几分之一【7】。  

• Huggingface SmolLM2 系列。SmolLM2系列紧凑型语言模型，参数规模从 1.25 亿到 17 亿不等【6】。 在语言理解、工具调用和指令执行方面，每个人的表现都比 140 亿同时代人高，而与 2 年(nián)前(qián)的(de) 700 亿(yì)个模型相当。

• NVIDIA Hymba-1.5B。这款 Mamba-attention 混合头 SLM 展现出最佳的指令准确率和 3.5×比同等大小的 Transformer 模型【20】具有更高的令牌吞吐量 在指令跟踪方面，它的表现优于更大的 130 亿模型。

• DeepSeek-R1-Distill 系列。DeepSeek -R1-Distill 是一系列推理模型，规模在 1.5-80 亿之间，使用 DeepSeek-R1【16】 生成的样本进行训练。 它们展现出强大的常识推理能力。值得注意的是，DeepSeek-R1-Distill-Qwen-7B 模型的表现优于 Claude-3.5-Sonnet-1022 和GPT-4o-0513等大型专有模型。

• DeepMind RETRO-7.5B：检索增强型 Transformer (RETRO) 是一个拥有 75 亿参数的模型，并配备了一个庞大的外部文本数据库，在语言建模方面实现了与 GPT-3 (175B) 相当的性能，同时使用的参数减少了 25 倍【8】 。

• Salesforce xLAM-2-8B。尽管规模相对较小，但这个 80 亿规模的模型在工具调用方面实现了最佳性能，超越了 GPT-4o 和 Claude 3.5 等前沿模型【78】。

值得注意的是，除了具有竞争力的现成性能之外，SLM 的推理能力还可以通过自洽性、验证者反馈或工具增强在推理时得到增强——例如，Toolformer（67 亿）通过使用 API 优于 GPT-3（1750 亿）【61】。 10 亿至 30 亿个模型通过结构化推理在数学问题上与 300 亿以上的 LLM 相媲美 【81】。

总而言之，对于现代的训练、提示和代理增强技术而言，能力（而非参数数量）才是约束条件。SLM 现在已经能够为相当一部分代理调用提供足够的推理能力，这使得它们不仅切实可行，而且比 LLM 更适合构建模块化、可扩展的代理系统。

图1：具有不同代理模式的代理系统示意图。左图：语言模型代理。语言模型既充当人机交互 (HCI)，又充当执行任务的工具调用协调器。右图：代码代理。语言模型充当人机交互 (HCI) 的角色（可选），而专用的控制器代码负责协调所有交互。

3.2 在代理系统中，SLM更经济

A2

在代理系统中，SLM 比 LLM 更经济。此论点支持第 V3条 。

小型模型在成本效益、适应性和部署灵活性方面具有显著优势。这些优势在代理工作流中尤其重要，因为在代理工作流中，专业化和迭代改进至关重要。 第3.1节 详细介绍了所列的 SLM 与相关 LLM 的效率比较。这里，我们绘制了一幅更全面的图景来支持A2项 。

• 推理效率：服务70 亿 SLM 需要10-30×比700 亿到1750 亿的 LLM 更便宜（在延迟、能耗和 FLOP 方面），可实现大规模的实时代理响应【66，64，33，49】。NVIDIA Dynamo 等推理操作系统的最新进展【21】 明确支持云端和边缘部署中的高吞吐量、低延迟 SLM 推理。此外，由于 SLM 几乎不需要跨 GPU 和节点进行并行化，因此服务基础设施的维护和运营成本也更低（参见CA4和 A13 ） 。

• 微调敏捷性：参数高效（例如，LoRA 【30】和 DoRA 【40】) 和 SLM 的全参数微调仅需要几 GPU 小时，允许在一夜之间而不是数周内添加、修(xiū)复(fù)或(huò)专(zhuān)门(mén)化行为【66】。

• 边缘部署： ChatRTX【55】等设备上推理系统的进步 展示在消费级 GPU 上 SLM 的本地执行，展示具有更低延迟和更强数据控制的实时、离线代理推理。

• 参数利用：起初，LLM 看起来像是一个整体，在其输出的生成过程中包含大量参数，这些参数代表着大量的压缩信息。然而，仔细观察就会发现，通过这些系统的大部分信号都是稀疏的，对于任何单个输入，它们只会用到一小部分参数【65，41】。这种行为在 SLMs【65，71】中似乎更为温和。这表明，由于 SLM 的参数中只有较小比例的参数对推理成本有贡献，且对输出没有明显影响，因此 SLM 可能从根本上更加高效。

模块化系统设计：【52】提出了支持复(fù)合(hé)代(dài)理(lǐ)系(xì)统(tǒng)的(de)全面(miàn)论(lùn)证(zhèng)。本(běn)文指(zhǐ)出(chū)，利(lì)用(yòng)多(duō)个(gè)不(bù)同(tóng)规(guī)模(mó)模(mó)型(xíng)的(de)方(fāng)法(fǎ)与(yǔ)现(xiàn)实(shí)世(shì)界(jiè)中(zhōng)代理任务的异构性非常契合，并且已经逐渐被纳入主流软件开发框架【25】。 此外，在代理环境中新发现的模块化意识使得可以轻松添加新技能和适应不断变化的需求的能力，这与(yǔ)语(yǔ)言(yán)模(mó)型设计中对模块化的推动相一致【24，10，37】。

上述“类似乐高”的代理智能构成——通过添加小型专业专家而非扩大单体模型来实现横向扩展——能够构建出更经济、调试更快、更易于部署、并且更符合现实世界代理操作多样性的系统。当与工具调用、缓存和细粒度路由相结合时，SLM 优先架构似乎为经济高效、模块化且可持续的代理 AI 提供了最佳的发展路径。

3.3 SLM更加灵活

A3

与(yǔ)LLM相(xiāng)比(bǐ)，SLM拥有更大的操作灵活性。这一论点支持了V2 和 V3。

由于规模较小，且预训练和微调成本相应降低（第3.2节 ），SLM 在应用于代理系统时本质上比大型模型更加灵活。因此，针对不同的代理例程训练、调整和部署多个专门的专家模型变得更加经济实惠且实用。这种高效性实现了快速迭代和调整，使其能够满足不断变化的用户需求，包括支持新的行为、满足新的输出格式要求以及遵守特定市场不断变化的本地法规【69，38，68】。

民主化：

当SLM的灵活性取代LLM时，一个尤其显著且理想的结果是随之而来的代理民主化。当更多个人和组织能够参与开发语言模型，并旨在部署到代理系统中时，代理的总体群体更有可能代表更多样化的观点和社会需求。这种多样性有助于降低系统性偏见的风险，并鼓励竞争和创新。随着越来越多的参与者进入该领域来创建和完善模型，该领域将更快地发展【35】。

3.4 代理仅公开非常狭窄的 LM 功能

A4

代理应用程序是 LM 功能有限子集的接口。这支持V1和 V2项 。

人工智能代理本质上是一个经过严格指导和外部编排的语言模型网关，具有人机界面和一系列工具，当正确使用时，可以做一些有用的事情【69】从这个角度来看，底层大型语言模型原本被设计成一个强大的通才，但通过一系列冗长繁琐的提示和精心编排的上下文管理，却被限制在其庞大技能库的一小部分内运行。因此，我们认为，一个针对特定提示进行适当微调的语言语言模型 (SLM) 就足够了，同时还能兼具上述提高效率和灵活性的优势。

有人可能会反驳说，为了在特定任务上取得优异成绩，与通才型LLM谨慎对接是必要的，因为LLM对更广泛的语言和世界有更好的理解（AV1） 。这将在第 4.1节 中讨论。

3.5 代理交互需要紧密的行为协调

A5

代理交互需要紧密的行为一致性。这与项目 V2一致。

典型的 AI 代理与代码有频繁的交互，无论是通过 LM 工具调用，还是通过返回由进行 LM 调用(yòng)的(de)代(dài)理代码解析的输出【48】。对于这些交互的成功至关重要的是，生成的工具调用和生成的输出必须符合工具参数的顺序、类型和性质以及调用语言模型的代码的期望对其施加的严格格式要求。在这种情况下，模型无需处理多种不同的格式（例如，工具调用使用 JSON/XML/Python，输出使用 XML/YAML/Markdown/Latex【50】），因为在代理应用中，为了保持一致性，只会选择一种方式。此外，模型偶尔出现幻觉错误，并且与代理系统“代码部分”预期不同的格式进行响应，这也是不可取的。正因为如此，在人工智能代理的环境中，使用单一格式决策进行训练的 SLM，在其后期训练期间强制执行，或通过低成本的额外微调来鼓励，比通用的 LLM 更可取。

3.6 代理系统本质上是异质的

A6

代理系统在选择所用模型时，自然允许存在异构性。这与V2条款 一致。

语言模型本身可以是另一个语言模型调用的工具。同样，每次代理的代码调用语言模型时，原则上它可以选择任何语言模型。如图1 所示。我们认为，将不同大小和功能的多种语言模型结合起来，用于不同复杂程度的查询或操作，为引入 SLM 提供了一种自然的方式。在图 1 -左的上下文中，LLM 可用于具有根代理的模型，而 SLM 可用于下属 LM。在图 1 -右中，所有 LM 原则上都可以是专门的 SLM：一个用于对话性，另一个用于执行控制器定义的语言建模任务。

3.7 代理交互是收集数据以供未来改进的自然途径

A7

代理交互是未来模型改进的良好数据来源。这从根本上支持了条目 V2。

如第3.4节 所述，在代理过程中调用工具和语言模型通常伴随着仔细的提示，这些提示使语言模型专注于提供当时所需的狭窄功能。这些调用中的每一个本身都是未来改进的自然数据源（在必要假设没有处理不可保留的机密数据的情况下）。装饰工具/模型调用接口的监听器可以收集专门的指令数据，这些数据稍后可用于生成微调专家 SLM 并降低未来该调用的成本（参见图1中的记录器）。我们认为，这条途径是由代理的架构实现的【48】并生成高质量的有机数据（可以通过考虑工作流程的整体成功率进行进一步的后过滤），从而使生产专家 SLM 来代替 LLM 成为代理部署的自然一步，而不仅仅是辅助工作。

4.其他观点（辩护）

学术界和大众文学中表达了以下重要的替代观点。

4.1 LLM通才将始终拥有更通用的语言理解优势

1. AV1 

设T为使用通用语言的单一任务，L和S分别为同代的大型和小型语言模型。L在T上的表现(xiàn)将(jiāng)始(shǐ)终(zhōng)优(yōu)于(yú)S。

这(zhè)种(zhǒng)替(tì)代(dài)观(guān)点(diǎn)对(duì)第(dì) V2条(tiáo) 提(tí)出(chū)异(yì)议(yì)，并(bìng)基(jī)于(yú)以(yǐ)下(xià)反(fǎn)驳(bó)：

1. CA1 

大(dà)量(liàng)的(de)经(jīng)验(yàn)证(zhèng)据(jù)表(biǎo)明(míng)，大(dà)型(xíng)语(yǔ)言(yán)模(mó)型(xíng)在(zài)通(tōng)用(yòng)语(yǔ)言(yán)理(lǐ)解(jiě)方(fāng)面(miàn)优(yōu)于(yú)同(tóng)代(dài)小(xiǎo)型(xíng)语(yǔ)言(yán)模(mó)型(xíng)。LLM 的(de)语(yǔ)言(yán)理(lǐ)解(jiě)能(néng)力(lì)遵(zūn)循(xún)缩(suō)放(fàng)定(dìng)律(lǜ)【15】。更(gèng)大(dà)的(de)规(guī)模(mó)使(shǐ)它(tā)们(men)能(néng)够(gòu)在(zài)一(yī)系(xì)列(liè)专(zhuān)门(mén)的(de)自(zì)然(rán)语(yǔ)言(yán)任(rèn)务(wu)中(zhōng)表(biǎo)现(xiàn)出(chū)更(gèng)好(hǎo)的(de)性(xìng)能(néng)，包(bāo)括(kuò)文本(běn)生(shēng)成(chéng)、翻(fān)译(yì)和(hé)推(tuī)理(lǐ)，优(yōu)于(yú)（a）以(yǐ)相(xiāng)同(tóng)的(de)通(tōng)用(yòng)方(fāng)式(shì)训(xun)练(liàn)的(de)小(xiǎo)型(xíng)模(mó)型(xíng)和(hé)（b）专(zhuān)门(mén)为(wèi)这(zhè)些(xiē)任(rèn)务(wu)从(cóng)头(tóu)开(kāi)始(shǐ)训(xun)练(liàn)的(de)小(xiǎo)型(xíng)模(mó)型(xíng)【54】。那(nà)么(me)可(kě)以(yǐ)说(shuō)，否(fǒu)则(zé)就(jiù)与(yǔ) LM 缩(suō)放(fàng)定(dìng)律(lǜ)相(xiāng)矛(máo)盾(dùn)【29，28】。

2. CA2 

此(cǐ)外(wài)，最(zuì)近(jìn)的(de)研(yán)究(jiū)还(hái)声(shēng)称(chēng) LLM 拥(yōng)有(yǒu)一(yī)种(zhǒng)“语(yǔ)义(yì)枢(shū)纽(niǔ)”机制，据推测，该机制使 LLM 能够以通用的方式整合和抽象来自各种模态和语言的语义信息【77】。如果真是这样，那么 LLM 可以被认为比小型模型更有效地跨语言和领域推广知识，而在同一项研究中，小型模型缺乏这种枢纽的存在能力【77】。因此可以说，虽然小型语言模型可能对于定义狭窄或高度专业化的任务有效，但由于缺乏内部化复杂抽象的空间，其有限的规模从根本上限制了它们在这些专业领域（如 LLM）中实现相同水平的通用语言理解的能力。

由此可以得出结论：无论定义多么狭窄，LLM 通才模型在语言任务上始终保持着优于同代小型语言模型的普遍优势。这使其在代理应用中优于 SLM。

反驳。

上述替代观点是反对使用 SLM 的最普遍的观点，即使只需要执行狭窄的语言任务【2，67，27，1】。

我们认为项目 CA1太有限，无法攻击项目 V2，即因为

1. A8 

流行的缩放定律研究假设模型架构在同一代中保持不变【29，28】，而最近关于小型语言模型训练的研究表明，针对不同模型大小考虑不同的架构具有明显的性能优势【20，7】。

2. A9 

小型语言模型（第3.3节 ）的灵活性可以解决这个问题。小型语言模型可以轻松地针对任务进行微调𝒯AV1 题 达到预期信度水平。这在缩放定律研究中尚未得到解释。

3. A10 

推理（或者更广泛地说，测试时计算扩展；参见3.2节 ）的成本显著降低。小型语言模型在保留其跨设备敏捷性优势的同时，可以合理地预期其在推理时能够扩展至所需的可靠性水平。

我们还认为CA2道具 太过神秘，无法攻击V2道具 ，因为

1. A11 

当语言模型需要处理的任务或输入很复杂时，所谓的“语义中枢”的效用就会显现出来。然而，先进的代理系统要么是整体设计的，要么至少是主动地被引导去分解复杂的问题和输入[48,14]。因此，我们持相反的观点，即在代理系统中调用小型语言模型将被适当地分解为非常简单的子任务，以至于由于中心而产生的任何一般抽象理解都没有多大用处。

4.2 由于LLM推理的集中化，其成本仍然较低

1. AV2 

代理应用中专用 SLM 的小型化所带来的每个令牌推理成本效益与规模经济相比相形见绌。

可以说，A2项 中支持V3项 的分析忽视了 AI 模型部署的更广泛业务：

1. CA3 

与通用 LLM 端点相比，充分利用和适当平衡专家 SLM 推理端点的负载更加困难[66,22]。

2. CA4 

推理基础设施的搭建成本以及人才的招聘和维护成本在推理成本计算中通常会被忽略，但如果（服务）语言模型的部署由代理服务开发者负责，则这些成本会更加突出。早期的行业报告指出，这些操作会产生相当高的成本[36,11,63]。

致谢。我们承认条款 AV2 的观点合理，但具体的经济考量将视具体情况而定。我们认为，关于条款 AV2 的最终裁决尚无定论，但有多个因素暗示条款 V3可能胜出：

1. A12 

推理调度和大型推理系统模块化方面的最新改进为单片计算集群提供了前所未有的推理系统灵活性【82，56，46】 ，与CA3项 中表达的传统立场相反。

2. A13 

对推理基础设施设置成本的最新分析表明，由于潜在的技术原因，其成本呈持续下降趋势【79，4】。

4.3 同等可能的世界

1. AV3 

利用 SLM 的代理世界和利用 LLM 的代理世界都是同样可能的世界，但“LLM 代理世界”在部署实践和优化方面具有相当大的领先优势，行业惯性已经将(jiāng)努(nǔ)力(lì)集中(zhōng)到(dào)这(zhè)个(gè)方(fāng)向(xiàng)的(de)创(chuàng)新(xīn)中。

致谢。我们承认AV3项具有明显的可能性，但我们坚持认为，  A1、A2、A3、A4、A5、A6和 A7项 中所描述的优势权重可能会推翻当前事态。

5.采用障碍

我们不妨问问自己：如果A1、A2、A3、A4、A5、A6和(hé) A7这(zhè)几(jǐ)个(gè)项(xiàng)目(mù) 确(què)实(shí)引(yǐn)人(rén)注(zhù)目(mù)，为(wèi)什(shén)么(me)新(xīn)一(yī)代(dài)的(de)代(dài)理(lǐ)人(rén)似(shì)乎(hu)只(zhǐ)是(shì)延(yán)续(xù)使(shǐ)用(yòng)通(tōng)才(cái)LLM的(de)现(xiàn)状(zhuàng)？

我们认为，以下是目前广泛采用 SLM 的主要障碍：

1. B1 

对中心化 LLM 推理基础设施的大量前期投资。如第一节 所述，大量资本押注于中心化 LLM 推理将成为未来AI服务的主要范式。因此，业界在构建相关工具和基础设施方面速度更快，而忽略了在不久的将来，更去中心化的 SLM 或设备端推理也可能同样可行。

2. B2 

在 SLM 的训练、设计和评估中使用通用基准。必须指出的是，SLM 设计和开发的大部分工作都遵循 LLM 设计的轨迹，在开发过程中重点关注相同的通用基准【43，57】。关于这一点，【20】指出，如果只关注衡量代理的代理效用的基准，所研究的 SLM 很容易胜过更大的模型。

3. B3 

缺乏大众认知。尽管SLM在许多工业场景中更适用，但它们通常没有像LLM那样获得的市场营销力度和媒体关注。

我们注意到，B1、B2和 B3项 是实际操作中的障碍，远非 SLM 技术在代理 AI 环境下的根本缺陷。借助 Dynamo【21】 等先进的推理调度系统， 项目 B1正在被简化为仅仅是惯性效应。项目 B2在该领域越来越受到认可【20，34】，一旦SLM在代理应用中（ A2项）的经济效益得到更广泛的认识， B3项 的落空也就自然而然了。尤其考虑到B1项的惯性，我们不会试图为这些障碍的消退或SLM的普及提供时间表。

6.LLM到SLM代理转换算法

代理应用程序的本质决定了它们最终能够在诸多接口上从使用 LLM 通用型模型切换到使用 SLM 专家型模型。在以下步骤中，我们将概述一种算法，该算法描述了一种轻松实现底层模型更改的可能方法。

1. S1 

安全的使用数据收集。第一步是部署工具来记录所有非 HCI 代理调用，捕获输入提示、输出响应、各个工具调用的内容以及可选的延迟指标，以便后续进行有针对性的优化。在实施方面，建议设置基于角色的访问控制的加密日志记录管道【51】并在存储之前对所有数据的来源进行匿名化处理【70】。 请参阅图1中的记录器以获取说明。 

2. S2 

数(shù)据(jù)整(zhěng)理(lǐ)和(hé)筛(shāi)选(xuǎn)。开始通过S1项 的流程收集数据。一旦收集到足够多的数据（根据经验，1 万到 10 万个样本足以对小型模型进行微调【5，19】），有必要删除任何 PII、PHI 或任何其他特定于应用程序的敏感数据，这些数据可能会导致曾经用于生成 SLM 专家的用户帐户数据泄露。许多典型的敏感数据类型都可以使用流行的自动化数据集准备工具来检测、屏蔽或删除【60，58】。特定于应用程序的输入（例如法律或内部文件）通常可以自动解释，以混淆命名实体和数字细节，而不会损害一般信息内容【9，76，73】。

3. S3 

任务聚类。对收集到的提示和代理操作采用无监督聚类技术，以识别重复出现的请求模式或内部代理操作【32，39，18】。 这些集群有助于定义(yì) SLM 专(zhuān)业(yè)化(huà)的(de)候(hou)选(xuǎn)任(rèn)务(wu)。任(rèn)务(wu)的(de)粒(lì)度(dù)取(qǔ)决(jué)于(yú)操(cāo)作(zuò)的(de)多(duō)样性；常见示例包括意图识别、数据提取、特定文档类型的摘要或根据代理可用工具生成(chéng)代(dài)码(mǎ)。

4. S4 

SLM 选(xuǎn)择。针对每个已确定的任务，选择一个或多个候选 SLM。选择标准包括 SLM 的固有能力（例如，指令跟踪、推理、上下文窗口大小）、其在特定任务类型相关基准测试中的表现、其许(xǔ)可(kě)证(zhèng)以(yǐ)及(jí)其(qí)部(bù)署(shǔ)占(zhàn)用(yòng)空(kōng)间(jiān)（内(nèi)存(cún)、计(jì)算(suàn)需(xū)求(qiú)）。第(dì) 3.2节(jié) 中(zhōng)的(de)模(mó)型(xíng)可(kě)以(yǐ)作(zuò)为(wèi)良(liáng)好(hǎo)的(de)初(chū)始(shǐ)候(hou)选(xuǎn)。

5. S5 

专用 SLM 微调。针对每个选定的任务和相应的 SLM 候选模(mó)型，根据S2和 S3中收集的精选数据准备一个特定于任务的数据集。然后，在这些专用数据集上对选定的SLM进行微调。PEFT 技术，例如 LoRA【31】或 QLoRA【17】可以利用这些优势来降低微调相关的计算成本和内存需求，使整个过程更易于理解。如果资源(yuán)允(yǔn)许(xǔ)且(qiě)需(xū)要(yào)最(zuì)大(dà)程(chéng)度(dù)的(de)自(zì)适(shì)应(yīng)，也(yě)可(kě)以(yǐ)考(kǎo)虑(lǜ)进(jìn)行(xíng)全面微调。在某些情况下，使用知识蒸馏可能会有所帮助，即训练专家级语义语言模型 (SLM) 来模拟更强大的通用级语义语言模型 (LLM) 在特定任务数据集上的输出。这有助于将 LLM 的一些更精细的功能迁移到 SLM。

6. S6 

迭代和改进。可以定期使用新数据重新训练 SLM 和路由器模型，以保持性能并适应不断变化的使用模式。这形成了一个持续改进的循环，并根据情况返回到项目 S2或项目 S4。

7.征求讨论

代理人工智能行业显示出对白领工作及其他领域产生变革性影响的迹象。

作者认为，任何费用的节省或人工智能基础设施可持续性的改善都将成为这种转变的催化剂，因此探索所有(yǒu)这样做的选择是极其可取的。

因此，我们呼吁对我们的立场提出意见和批评，请发送邮件至agents@nvidia.com，并承诺将所有此类信件发布在research.nvidia.com/labs/lpr/slm-agents上。

编后注

本文省略了原文的参考文献表及附录，有兴趣的读者可参看厡文。此外该论文某些表达比较抽象，但对于从事代理人工智能(尽管它也包含单任务的代理，但通常是指能自主完成复杂任务的多代(dài)理(lǐ)AI系(xì)统(tǒng))的(de)工(gōng)作(zuò)者(zhě)来(lái)说(shuō)仍(réng)不(bù)愧(kuì)为(wèi)一(yī)份(fèn)好高参。对于正在考虑建设代理人工智能的企业/组织来说，根据本文的建议，代理人工智能系统不排除使用LLM，但应”将范式从以 LLM 为中心转变为以 SLM 为先的架构”。因此，资本/企业/组织要加强SLM的投资和研究。以构建供应链代理人工智能系统为例，需要创建有关的行业SLM(或者说AI的专家模型)，例如供应链的专业SLM(如供应链管理LM，更细一点，如SCPLM，SCELM，釆购LM，物流LM等)。这是本文对我们最大的启发。