Insights | 基础模型在边缘云中：引领边缘AI未来新潮流

云基础设施领域日新月异，在这一领域，NGP一直坚持将边缘云作为下一代基础设的概念。在思考推进这一理念的过程中，我们发现了一个阻碍其广泛应用的关键障碍，即“第二应用问题”。本文探讨了基础模型在边缘案例中的作用。

关于边缘云，我们注意到一个关键的问题是它所面临“第二应用问题”的挑战，即购买者通常专注于单一用例，希望仅为该用例采购解决方案。然而，缺少第二应用往往会导致预算无法从战略角度分配。这使得真正的横向基础设施公司难以充分利用战略预算分配的机优势。

不过，边缘人工智能有潜力在工业、制造和物流等垂直领域释放出具有重大影响力的应用案例，从而定义数字产业的新时代。从这个角度出发，我们一直在研究边缘人工智能平台，特别是基础模型在边缘人工智能中的应用。我们向正在开发边缘人工智能解决方案的行业从业者和初创公司创始人提出了一个关键问题：基础模型是否可以应用于边缘人工智能？以下是我们根据这些对话得出的三个关键洞察：

洞察一：要真正实现基础模型的大规模应用，混合边缘架构需要成为主流

性能最佳的基础模型拥有数十亿参数，庞大而复杂。以往对基础模型的认知是，它们需要大量的训练数据，并且资源密集，无法直接应用于边缘设备进行推断。然而，当前正在进行的研究旨在减轻边缘设备上模型训练和推断的存储和计算负担。例如，Meta公司的LlaMa模型已经优化，可在个人电脑上运行，而谷歌发布了下一代PaLM 2模型，其中提到了适用于边缘的 Gecko 版本。此外，研究表明，经过较长时间训练的较小模型可以获得良好甚至更好的结果，这进一步提高了边缘推断，甚至边缘训练的可能性。

高通一直积极倡导混合人工智能架构和设备端人工智能应用，我们认为这是正确的方向。混合人工智能架构可以是单纯以设备为中心的，也可以是设备感知型混合人工智能。在单纯以设备为中心的架构中，模型的维度、输入和输出被设计成可以完全在设备上运行，只有在绝对必要或联合目的下才会与云端连接。而在设备感知型混合人工智能中，设备充当眼睛和耳朵，推断行为在设备和云端之间分担。这两种架构都将在真正实现基础模型大规模应用方面发挥至关重要的作用，它们有降低推断成本、提高能源效率、维护隐私，同时提升个性化等多重好处。

洞察二：多模态模型将成为边缘端的标准做法

当人们第一次听到基础模型一词时，通常会将其与GPT或大语言模型（LLMs）联系在一起。语言模型的规模和研究成果是前所未有的。然而，作为深度学习中不断增长的子领域，多模态模型主要用于处理来自多个模态的数据（如文本、图像、视频、音频和传感器数据）的融合与分析。多模态深度学习结合了不同模态的优势，创建了更复杂的数据表示，从而提高了处理各种机器学习任务的能力。

鉴于在边缘应用人工智能的用例复杂性，多模态将成为推动采用边缘人工智能的主要动力。改进多模态模型的构建与操作对于实现边缘人工智能的实际应用至关重要。全新的计算机视觉模型开发流程将崭露头角。即使在多模态模型的使用案例中，作于易于获取的模态，语言仍将继续充当主要输入方式。对于多模态模型，我们仍需要解决与企业准备性相关的问题（如幻觉），而这正是语言研究的一个活跃领域。

洞察三：边缘推断需要一种全新的轻量级容器

这是我们在边缘推断特定领域所识别出的一个有趣的新领域。鉴于边缘设备的多样性，我们需要一种能真正将硬件与软件分离的容器，类似于边缘设备上的Docker。像 Fermyon 这样的初创公司作为WebAssembly（WASM）领域的领军者，一直在努力填补这个领域。尽管WebAssembly作为一项技术非常有趣，可以用于创建轻量级边缘设备去完成重要任务，但我们尚未看到企业在这方面有广泛的应用。因此，目前边缘人工智能的轻量级容器依然是一个待开发的领域，解决与容器相关的问题，如编排、管理和成本优化等，尚待涌现的公司还很多。

关于基础模型在边缘人工智能用例中的技术堆栈仍在不断发展中，以下是技术栈的初步构想：

从诺基亚成长基金的角度，我们对边缘人工智能领域充满信心。我们已经投资Xnor（已被苹果收购）、Scandit等公司，并在不断寻求扩大我们在这一领域的影响力。如果您正在这个领域创业，请随时与我们联系。我们非常期待与您交流！

*     作者：诺基亚成长基金投资总监Divya Raghavan*

图片来源：Growtika, Unsplash

点击阅读英文原文