AI 旅程：为什么您应该使用 OpenShift 和 OpenVINO™

June 6, 2022

Christina Cardoza

openshift, openvino

AI 是一个让人畏惧的领域，部署 AI 应用程序的工作量巨大。如果您没有使用正确的工具，还会给您带来许多不必要的麻烦。幸运的是，英特尔^® 和 Red Hat 正为减轻企业和开发者的负担而努力。

我们将与 Audrey Reznik，企业开源软件解决方案提供商 Red Hat 的高级首席软件工程师，和 Ryan Loney，英特尔^® OpenVINO^™ 开发人员工具的产品经理，两位专家讨论部署 AI 应用的正确方式。他们将就机器学习和自然语言处理、使用 OpenVINO AI 工具套件配合 Red Hat OpenShift、以及 AI 智能应用程序的生命周期等展开讨论。

AI 和机器学习为何已逐渐成为企业的重要工具？

Ryan Loney：我们如今接触的一切都嵌入了一定程度的智能。AI 正被融入到所有行业中——包括工业、医疗保健、农业和零售业。他们开始利用软件和算法来提高效率。而我们正开始进入在应用程序中融入自动化和智能的时代。

我们还看到很多公司——例如英特尔合作伙伴——开始利用这些工具辅助人类完成工作。比如，技术人员分析 X 光或超声扫描结果。以及在工厂中，使用摄像头检测错误，然后标记错误供人检查。

我们还开始优化语音合成的工作负载，用于自然语言处理，这对于 OpenVINO 来说是一个新的领域。当您使用 ATM 机并让它大声读出您的银行存款，这也意味着 AI 开始在其中发挥作用。它已经嵌入了我们所有的工作中。

AI 和 ML 是如何在各个行业中开始得到更广泛使用的？

Audrey Reznik：当我们谈论如何在各个行业中广泛部署 AI 和 ML，我们必须要谈论两个场景。

有时，一个环境中的数据重力过大，无法转移到异地、云中，例如倾向于将数据保存在本地的防御系统或政府。所以我们看到很多 AI/ML 都是以这种方式部署。通常人们希望平台有 MLOps 功能，他们希望有辅助数据工程的工具，能够进行模型开发、训练/测试部署，并监控模型。

如果没有特定的数据安全问题，他们通常会将大量的 MLOps 创作和交付/部署移动到云端。在这种情况下，他们寻求的是有可用 MLOps 的云服务平台，这样他们可以管理数据、创建模型并进行训练、测试和部署，并对模型进行监测和重新训练。

在两种情况下，人们其实都是在寻找一个易用的平台——一个让数据科学家、数据工程师和应用程序开发人员都易于使用、进而可以轻松协作的平台。这样的协作将促进创新。

我们看到这两种情况的交叉越来越普遍，所以就有了我们所说的混合云情景，或混合平台。

部署 AI 应用最艰巨的挑战是什么？

Ryan Loney：一个重大挑战是访问数据。如果想要创建或训练一个智能应用程序的模型，便需要大量数据。您还必需要有一个安全区来获取数据并训练数据。您不能将它们发送到公有云上——如果这么做就必需保证数据安全。

所以我对 Red Hat 和 OpenShift 印象深刻的一点是他们的混合云做法。您可以有一个本地管理的 OpenShift 或者可以在公有云中运行，但仍然能够将客户的数据保留在他们出于安全和隐私考虑希望存储的地方。

许多企业面临的另一个挑战是，当他们想要扩展时，必需要有一个能够按需指数倍增的基础架构。这是我觉得 Red Hat 将发挥作用的地方。他们提供的托管服务让他们可以专注于让开发人员和数据科学家使用他们在企业环境之外自己习惯使用的工具，而且让它们用起来像在企业环境中一样轻松。

我们来谈谈 OpenVINO^™ 2022.1 版本的变化。

Ryan Loney：这是我们自 2018 年以来在功能上作出的最大变化，它是由客户需求推动产生的。一个关键变化是我们添加了硬件插件，或称设备插件。我们还推出了独立显卡。这样 GPU 便可以用于深度学习推理。客户需要它们进行自动批处理，他们也可以让 OpenVINO 自动确定批次大小。

同时如前所述，我们也扩展到了自然语言处理。如果您问聊天机器人：“我的银行存款是多少？”然后问第二个问题：“我要怎么开银行账户？”这两个问题大小不同——句中的字母数量和词语数量不同。OpenVINO 能够在后台处理这些问题并自动调整数据输入。

Red Hat 使用 OpenVINO^™ 的体验是什么?

Audrey Reznik：在采用 OpenVINO 之前，很多处理都在硬件上完成，成本高昂。OpenVINO 的出现改变了优化模型和进行量化的范式。

先谈一谈优化。如果我们可以说，“现在我不需要视频中的不同帧来说明模型要找的是什么。”那么为什么还要使用 GPU？也许我的模型想要查看现场的管道，确认管道没有故障。为什么不在不影响模型性能的情况下减少帧数？使用 OpenVINO，您可以只添加片段代码获得这一优势，不需要使用硬件

然后是量化。采用机器学习模型，计算中可能会出现很多数值。以大多数人熟知的数字 π 为例。它其实不等于 3.14；它的数值是 3.14 再加上后面许多位数字。那么如果您不需要这么精确呢？如果您完全可以接受大多数人所接受的，π 等于 3.14 呢？

您可以从模型中获得许多优势，因为您不需要精确处理那些小数点，但仍可得到相同的结果。

这一点对于客户而言很重要，因为我们只是在 OpenVINO 中添加了几行代码。而如果他们不需要 GPU，则可以轻松节省硬件成本，同时获得相同的优势。

人工智能旅程从开始到结束，都包含哪些内容呢？

Audrey Reznik：有几个非常重要的步骤。首先是收集和准备数据。然后开发模型，并将模型集成到应用程序开发中。接着是模型监测和管理。最后，重新训练模型。

除了基础结构外，我们还有 Red Hat 托管云服务，将帮助所有机器学习模型完成从收集数据、准备数据（您可以将我们的流媒体服务用于时序数据）到开发一个模型（运用我们的 OpenShift 数据服务应用程序或平台）的全过程，然后运用 source-to-image 部署该模型。然后借助 Red Hat OpenShift API 管理进行模型监控与管理。

我们还添加了一些客户管理软件，这也需要 OpenVINO 发挥作用。我们可以开发自己的模型，但是这一次我们可以使用英特尔的 oneAPI AI 分析工具。如果我们想要将模型集成到应用开发中，我们可以使用 OpenVINO 这样的工具。

对于 Red Hat 来说，我们想要能使用其他公司已经创建的服务和应用程序——我们不想要从零开始发明一切。在模型生命周期的每一部分，我们都邀请了多家独立服务供应商加入平台——许多开源公司开发了非常出色的应用程序和软件，可以满足周期中不同步骤的需求。

我们想的是邀请这些开源产品进入平台，这样人们便可以自由选择更适合自己的解决方案，来解决他们的具体问题。

Ryan，OpenVINO^™ 和 Red Hat OpenShift 如何进行协作？

Ryan Loney：OpenShift 为我们提供了出色的操作器框架，可以直接集成 OpenVINO 并可通过这个图形接口访问。安装 OpenVINO 操作器后，我可以创建一个模型服务器。它获取数据科学家训练并经由 OpenVINO 优化的模型，并提供一个 API 端点让您连接 OpenShift 中的应用程序。

部署的方式是使用模型存储库。数据科学家和开发人员有了可随时部署的模型后，可以将它放入存储筐中，然后创建存储库。之后每创建一个实例或 Pod，它可以快速抓取这一模型，以便您进行扩展。

即使您不执行 Audrey 之前提到的量化，OpenVINO 也会在后台进行一些处理（如操作融合和卷积融合等），帮助您实现性能加速、减少延迟、提高吞吐量，同时不影响精确度。这也是我们的客户使用 OpenVINO 的原因：进一步增强性能，且比仅使用深度学习部署消耗的资源更少。