公司动态
优化 MLOps 以实现可持续性 机器学习博客
优化 MLOps 以实现可持续性 机器学习博客
MLOps与可持续性的优化
关键要点
MLOps简述：MLOps是用于简化机器学习工作流和部署的实践。可持续优化的重要性：随着机器学习工作负载的复杂性增加，企业需要寻找管理成本和碳足迹的方法。AWS的支持：AWS发布了《优化MLOps以实现可持续性》的指导，帮助客户最大化资源利用率并减少浪费。三大工作流：包括数据准备、模型训练和调优、模型部署和管理。多种工具与方法：使用AWS的多种服务和工具来减少碳足迹，并实现资源的高效利用。机器学习操作MLOps是一套自动化和简化机器学习ML工作流及部署的实践。随着机器学习工作负载变得越来越复杂，消耗的能源和资源也在增加，越来越多的公司开始寻找管理这些工作负载所涉及的成本及碳足迹的方法。AWS发布了《优化MLOps以实现可持续性》来帮助客户最大化利用率并减少资源浪费。
蓝鸟加速器免费下载在本文中，您将了解如何优化MLOps以实现可持续性。
数据准备
工作流的开始是数据准备，包括如下四个组成部分： 你的数据流 Amazon SageMaker处理作业 Amazon SageMaker特征存储 用于存储原始数据的Amazon S3存储桶
数据准备是模型训练的基础，也是MLOps生命周期中的第一阶段。通过在AWS上应用可持续性最佳实践，可以减少人工智能和机器学习AI/ML数据准备工作负载的碳足迹及费用。
数据准备过程可能复杂且能耗高，因为它涉及大量的数据处理和计算。这导致资源消耗显著。考虑以下几点有助于降低能源消耗：
选择区域：优先选择低碳强度或电力来源为100可再生能源的区域。数据存储与训练：如有可能，将数据存储和模型训练置于同一区域，以减少网络之间的数据传输和延迟。使用无服务器架构：仅在需要时配置资源，减少资源消耗并消除维护开销。避免重复代码：使用Amazon SageMaker特征存储，以实现资源的高效利用。选择合适的存储类型：例如，使用S3单区不频繁访问存储不常访问的数据，如测试和训练数据，从而优化数据存储的碳影响。模型训练与调优
模型训练与调优是MLOps中的第二个重要环节。
训练和调优模型是使其在功能上有用的重要步骤，同时减少其在大规模运行时所需资源。优化可持续性将对操作成本产生积极影响。
例如，SageMaker提供了模型并行库，可以有效地在多个计算节点上分配和训练模型。该库支持各种功能，可更高效地训练参数集合。可以进一步通过使用SageMaker训练编译器来优化训练过程，速度可提升高达50。
为了减少调优模型所需的时间和能量，SageMaker的自动模型调优AMT可以在给定数据集上运行多个训练作业，并通过结果收敛于一组超参数值。同时，SageMaker调试工具可以检测系统资源的低利用率，提高资源的使用效率。
模型部署与管理
MLOps的最后一环是模型的部署与管理。
自动化ML模型的部署会带来若干可持续性优势。模型可能会在数据或代码更新和重新训练时消耗大量资源。确保已部署的模型尽可能高效，以降低工作负载的碳足迹。
使用AWS CodePipeline可以确保部署过程的可重现性和版本控制。通过采用Amazon SageMaker模型注册表，提供了集中式库以减少冗余和提高模型的可重复使用性。对于具有波动流量的负载，可以使用Amazon SageMaker异步推理，以减少闲置资源并控制负载峰值。
监控CPU、内存和GPU资源的利用率对于优化模型性能和避免资源浪费至关重要。AWS提供多种工具，例如CloudWatch和SageMaker模型监控，用于优化MLOps的可持续性。
结论
可持续性与机器学习正在重新定义许多公司为客户提供价值的方式。将可持续性纳入ML模型的设计、开发和部署是一个至关重要的长期考量。AWS正在投资于云的可持续性，提供资源来帮助客户转变其工作负载以实现更高的能效。
关于作者
Archana Srinivasan是AWS企业支持的高级技术客户经理，提供支持独立软件供应商的战略性技术指导。
Chris Procunier是AWS的高级技术客户经理，在华盛顿特区担任此职务，拥有25年的系统和基础设施管理经验。
Meghana Reddy是AWS的技术客户经理，致力于为独立软件供应商提供优化其工作负载的战略性技术指导，积极推广环境可持续性。
Steven David是AWS的首席解决方案架构师，拥有超过20年的大型企业解决方案设计经验。
蓝鸟加速器官网助您畅游全球，轻松突破地域限制，一键实现极速连线。无论身处何地，随时享受稳定快速的访问体验。
加入蓝鸟加速器免费下载
-
- 地址
- 贵阳市劝腿之域163号
-
- 电话
-
- 工作时间
- 周一至周五：上午 10 点至晚上 8 点