除了聊天机器人：生成式 AI 解决方案的潜力

January 26, 2024

Christina Cardoza

GenAI解决方案

AI 已经成为头条新闻已经有一段时间了。但随着我们进入 2024，生成式 AI 会成为最新的突破。大部分注意力都集中在 ChatGPT 上，并伴随着许多关于什么是生成式 AI 的误解和误区。

为此，我们采访了 AI 应用程序平台提供商 Anyscale 的首席科学家 Waleed Kadous；全球管理咨询和技术公司埃森哲云第一首席技术专家 Teresa Tung；以及与埃森哲和英特尔合作的 AI 和分析首席总监兼首席技术官 Ramtin Davanlou。他们讨论了生成式 AI 解决方案的商业机会、所涉及的挑战以及下一步的计划（视频 1）。因为生成式 AI 将继续存在，并且有很多值得期待的。

视频 1. 来自 Anyscale 和埃森哲的行业专家讨论了生成式 AI 解决方案的影响和机遇。（资料来源：insight.tech）

请解释生成式 AI、商业机会和挑战。

Ramtin Davanlou：总之，像 OpenAI、谷歌和 AWS 这样的公司利用其庞大的计算资源和庞大的数据集来训练 AI 模型或 LLM（即大型语言模型），以生成新内容，构建全新的知识。这些内容以不同的形式出现：文本、图像、视频、语音，甚至计算机代码。但文本尤其重要，因为它是大多数企业的主要通信手段。

这些 AI 模型中的许多模型能够在任何给定主题上生成非常好的响应，比该主题领域的普通人甚至普通专家都要好。然后，公司可以采用这些模型，并对它们进行微调，以便模型以某种方式发挥作用，并获得有关特定环境的更多知识。这创造了许多机会。

公司可以使用生成式 AI 来做一些事情，例如发送电子邮件或创建幻灯片等，我们创建的所有内容都是为了相互通信，或增强这些内容。这对服务行业，以及与机器人相结合的制造业产生了巨大的影响。

LLM 现在无法做到，但很快就能做到的是从头开始创造全新的知识。

企业在开发 GenAI 解决方案时，应该考虑哪些因素？

Waleed Kadous：一个考虑因素是这些模型的输出质量。LLM 有一个问题，称为幻觉，他们自信地断言一些完全不真实的事情。那么，您如何进行评估，以确保该系统实际上产生了高质量的结果？您使用哪些基础数据？在过去的六个月中，我们在一个被称为“检索增强生成”的领域取得了进展，它有助于最大限度地减少幻觉问题。

第二个考虑因素是数据清洁度，这与这些 LLM 可以访问的信息有关。它们披露了哪些信息？它们能告诉人们什么? 不同用户之间是否有泄漏？有人是否可以对用于训练模型的数据进行逆向工程？它仍然是一个新的领域，所以我们仍然可以看到在这一领域出现的问题。

然后，最后一点是 LLM 成本很高。我的意思是，非常昂贵。您可以在一个月内轻松地在 GPT-4 上花费 10 万美元。

企业怎么才能开始将 GenAI 解决方案带入下一个层次?

Teresa Tung：大多数公司都有概念证明，许多公司都是从 OpenAI 等管理模型开始的。这些令人惊叹的通用模型可以解决许多用例，并提供了一个非常好的开始方式。但正如 Waleed 提到的那样，从长远来看，成本是一个因素；它可能比许多公司愿意支付的价格高出一个数量级。因此，公司现在需要考虑合理调整成本，并根据业绩调整成本。

当 AI 模型对企业变得越来越重要时，我们也看到公司希望掌握这些模型。他们可能会想要创建自己的特定任务和特定模型，而不是使用管理模型。可以根据不同的需求定制 100 亿以下的参数模型。仍然会有通用模型，但也有适合用途的模型。

Waleed Kadous：我们在 Anyscale 所做的实验之一是将自然语言翻译为 SQL 查询。通用模型 GPT-4 能够产生的准确率为约 80%。但通过训练 SSM（小型特定模型，只有 70 亿个参数，费用大约是成本的百分之一），我们能够实现 86% 的转换准确率。因此，小型特定模型与大型语言模型之间的讨论（现在正在这个行业发生）正在不断演变。

现在，您的客户的最大的生成式 AI 机会在哪里？

Waleed Kadous：第一种用例商机是总结。是否有一些领域，您可以浓缩大量信息，以及浓缩哪些领域的信息是有用的？

第二种是我之前提到过的检索增强生成家族。在那里，您不仅可以天真的问 LLM 问题，而且实际上可以为其提供上下文，以及现有的答案知识库，以帮助回答这些问题。

另一个有趣的应用程序是您将其称之为“与系统交谈”的应用程序。将其想象成您可以与之交谈的仪表板，即升级版的仪表板。这在物联网中尤其有趣。我曾见过一家在这方面做得很出色的公司；它为零售商安装 Wi-Fi。您可以问这个仪表板这样的问题：“我们在哪里看到路由器工作太努力了？”它将实时查询这些信息，并为您提供更新。

最后是上下文中的应用程序开发。也许最有名的是 Copilot，当您编写代码时，它将为您提供有关如何编写更好、更高质量的代码的建议。上下文中的应用程序最困难，但它们的潜力也最大。

Teresa Tung：Waleed 给出了一个很好的概述，所以我将从不同的视角阐述您可以购买的东西、可以提升的东西以及您可以构建的东西。“购买”是能够为软件开发、营销和企业应用程序购买生成式 AI 驱动的应用程序。他们使用经过第三方数据训练的模型，使任何人都能够获得这些效率。这正迅速成为一种新常态。

“提升”是应用公司的第一方数据，即有关您的产品、客户、流程的数据。要做到这一点，您需要整理好数据基础，检索增强生成就是一个很好的开始方式。

“构建”是指公司维护自己的自定义模型。这可能从预先训练好的开放模型开始，然后向模型添加自己的数据。它在模型中为您提供更多的控制权和更多的自定义。

像埃森哲与英特尔这样的合作关系从何而来？

Ramtin Davanlou：在这一领域，合作伙伴关系非常重要，因为试图构建端到端的 GenAI 应用程序的公司通常必须解决基础设施和计算资源等问题。例如，您需要非常高效的 ML Ops 工具，以帮助您处理从开发到管理、监控和在生产环境中部署模型的各个部分。

我们已经使用了一些英特尔软件，如 cnvrg.io，这是一种 ML Ops 工具，允许数据科学家和工程师在相同环境中进行协作。它还允许您跨不同的云平台使用不同的计算资源，例如在本地环境、英特尔^® Developer Cloud 和 AWS 上。

合作伙伴关系也有助于降低总拥有成本，特别是在您扩大规模时的成本。为什么不为每个新用例构建新平台，而构建一个您可以重复使用的平台？例如，我们与英特尔合作，使用 Intel Developer Cloud 以及 GaudiTools （专门用于微调深度学习应用程序模型的 AI 加速器）构建了一个生成式 AI playground。然后，为了大规模部署这些模型，您可以使用 AWS。

另一个例子是需要一种工具来帮助分配工作负载。Hugging Face 有一个叫做 TGI 的库，非常有用。因此，您可以看到，需要将许多不同的组件和片段组合在一起，才能拥有一个端到端的 GenAI 应用程序。

Waleed Kadous：另一个问题是开源的想法，即开源模型，当然还有开源软件。Meta 发布的一个示例是称为 Llama2 的模型，我们已经看到了非常非常好的效果。它可能不能与 GPT-4 相提并论，但绝对接近 GPT-3.5，比 GPT-4 低一个档次。Berkeley 有一个 vLLM，一个高性能的部署系统；还有 Ray LLM。vLLM 管理一台机器；Ray LLM 为您提供了跨多台机器的可扩展性，以处理峰值和自动扩展等。

我们看到开源的蓬勃发展，因为不是每个人都喜欢把他们所有的数据委托给一两个大公司，并且供应商锁定是一个真正的问题。还有灵活性：我可以在数据中心部署某些东西，或者在我自己的 AWS 云中部署它，除了我之外，没有人可以访问它。

由于成本原因，开源解决方案更便宜。我们做了一个关于构建一个电子邮件摘要引擎需要花费多少钱的概要，如果您使用像 GPT-4 这样的东西，它将花费 36000 美元，如果您使用开源技术，它将花费约 1000 美元。

我们已经看到很多公司对开源模型很感兴趣，从倾向于更注重成本的初创公司，到倾向于更注重隐私和数据控制的企业。并不是说开源模型和技术是完美的，只是它们很灵活，而且成本更低。从1800 亿到 700 亿及以下，各种规模的模型都可用。现在它只是一个非常动态的空间。