Insights | 生成式人工智能的下一个目标是什么？

在 ChatGPT 发布后的一年半时间里，使用生成式人工智能来增强或替代人工工作流程已成为知识工作者的普遍做法。

每个人都尝试过使用ChatGPT，尤其是开发人员和营销人员，他们会在不同的使用案例中使用更多特定的工具，而 RAG（检索增强生成）现已成为利用企业数据增强生成式工作流的标准。与此同时，LLM（大型语言模型）的能力也在不断提高，自 GPT-3.5 推出以来，已经经历了两次显著飞跃，GPT-4o成为当前标准，而下一代OpenAI前沿模型也在训练中。

将生成式人工智能的时间线与之前的一些变革性技术（尤其是互联网和移动技术）进行比较，我们可以认为生成式人工智能变革仍处于起步阶段。意识到这一点，我们有必要展望生成式人工智能的未来发展方向，以及我们在短期内有望在哪些方面取得最大进步。

小型语言模型

目前，所有的目光都集中在规模最大、性能最高的 LLM 上，OpenAI、Google、Cohere 和 Meta 也在争夺榜首位置，这很容易让人忽视模型频谱另一端的进步。对于某些任务来说，尽可能高的模型质量是驱动因素，但对于其他任务来说，常需要在模型质量和处理量及价格之间做出权衡。特别是在将LLM驱动的功能嵌入到软件中时，任务往往数量庞大且高度重复。

这一发现标志着SLM（小型语言模型）的崛起，它们在训练和推理（使用训练模型）方面所需的计算量远低于LLM。与最大模型的千亿参数相比，小型模型的参数数通常低于 100 亿。它们的训练数据集也要小得多。由于模型设计的进步和训练数据质量的提高，模型性能受参数数量的影响远小于预期。与 LLM 相比，SLM 的计算量和能耗更低，从而引导生成式人工智能走向更可持续的未来。

许多 SLM 都可以通过 API 以更低的成本替代 LLM。更有趣的是，许多 SLM 都是开源的，或者可以进行技术上简单且便宜的微调。特别是采用PEFT（参数高效微调）技术，小型模型可以通过少量数据定制以适应特定用例，往往比通用LLM表现更好。一个巧妙的技巧是，训练数据通常可以用 LLM 创建（最好是在人工监督下创建）。

SLM的小尺寸允许在本地或甚至边缘设备上运行模型，这可以为语言模型的全新用例提供重大支持。然而，我们需要注意微调SLM方法的缺点。LLM的震撼效果以及价值主张在于其与上下文无关，无需训练数据或数据科学家。LLM还实现了真正的零样本训练，模型可以在训练数据中未见的场景中表现良好。使用SLM时，实施过程更像是传统的数据科学过程。因此，我们预计SLM和LLM将共存。

开放模型和开放生态系统

随着SLM的崛起，我们看到了开源语言模型的激增。在开放性背景下，需要记住“OpenAI”的“Open”只是由于历史原因，而实际上它是最封闭的LLM提供者之一。此外，并非所有开源都是平等的：要完全复制一个模型，训练数据、权重和训练代码都需要可用，但实际上，许多只是部分开放。尽管如此，开源模型现象更多与SLM相关，SLM往往是开源的。以 Meta、Mistral 和 XAI 为首，它们也正在追赶一流的闭源 LLM 性能。

考虑到闭源LLM功能强大且对于大多数用例来说使用成本相对较低，开源的原因也需要得到回答。总体来说，原因可以归结为四个部分：机密性、可定制性、成本和控制。特别是在构建嵌入语言模型的软件时，这些都是不可妥协的，使用闭源许可模型是不可能的。

除了模型开发变得更加透明之外，值得注意的是，整个生态系统也变得更加通用。在 LangChain、LlamaIndex、Haystack 和 Griptape 等工具和框架的支持下，模型的互换性越来越强，用一个模型替换另一个模型只需几行代码，甚至只需更改一下配置。这一点也被一些大型云服务商注意到，尤其是Google和Amazon更倾向于生态系统的方法。

LLM Agents

我之前写过一篇关于LLM Agents (大语言模型智能体)的介绍，这仍然是了解该主题的良好入门读物。然而，在写完这篇文章不到三个月后，Agent的吸引力急剧增加，现在LLM Agent已经成为 LLM 的主要运作方式。根据百科全书定义，LLM Agent是使用LLM作为核心推理引擎的高级人工智能系统。作为核心特征，Agent通常有一个内存和一套工具，并可以具有编程输入和输出。对 LLM Agent概念的一个有用概括是，它们将 LLM 从文本预测器转换为功能软件组件。

LLM Agent工具分为多个层次：

1. Agent开发工具（如 LangChain）
2. Agent平台（如 AutoGen）
3. 全功能现成软件Agent（如 Cognition AI 的 Devin）

第1层的产品几乎总是横向的，第3层则总是专注于一个或几个垂直领域。然而，在第2层，我们预计会有横向和纵向解决方案，垂直Agent平台提供增加的抽象和倾向解决方案，加快垂直特定用例的开发。尽管当前讨论集中在 LLM Agent上，但对于例如边缘和工业用例的SLM Agent似乎没有任何根本性的阻碍。

LLM Agent开始在短期到中期内取代更多单调的活动，有潜力自动化高达70%的工作时间。起点是最孤立、最少需要上下文的任务，但我们可以期待LLM在上下文和判断力方面的能力进一步扩展。不过，在需要大量上下文和判断力时，人类仍将发挥作用。尽管有人怀疑人工智能会毁掉工作，但我们有充分的理由相信，这与之前的生产力转变并无不同，人类角色将演变为更有趣和更有价值的形式。

结论

我们在NGP Capital积极跟踪生成式人工智能的发展。与资本密集的LLM模型层相比，生成式人工智能市场总体上朝着更加多样化的方向发展，这与我们的投资理念一致，也有利于我们进行有影响力的投资。

• 小型语言模型（SLM）在性能和效率之间取得了平衡，非常适合大批量的重复性任务和边缘任务，正在受到越来越多的关注。
• 生成式人工智能生态系统正变得更加开放，向开源语言模型迈出了重要一步，提高了人工智能开发的保密性、可定制性和可控性。
• LLM Agents 已成为操作化LLM的主要方式，其先进的功能（如内存和工具）将自动化知识工作者多达70%的工作时间。
• 可持续性是一个日益重要的考虑因素，SLM由于其较低的计算需求，提供了更环保的选择。

这些关键发展指向了一个未来，生成式人工智能将越来越多地应用于边缘领域，无论是作为机器人的一部分，还是在工厂或轨道上。