数据机器人MLOps电子书背景

MLOps 101: AI战略的基础


什么是MLOps?

MLOps的定义 (机器学习 operations) includes the culmination of people, 流程, practices 和 underpinning technologies that automate the deployment, 监控, 和管理 机器学习模型 into production in a scalable 和 fully governed way to finally provide measurable business value from 机器学习. 通过MLOps基础可以获得数据, 发展, 和 production teams to work collaboratively 和 leverage automation to deploy, 监控, 和 govern 机器学习 services 和 initiatives within an organization. 

取决于组织的成熟度级别, their MLOps infrastructure can be represented by something as simple as a set of vetted 和 maintained 流程. 例如:

  • 如何创建、培训和批准模型
  • 模型存储的地方
  • 如何部署模型
  • 如何在生产中评估和监控模型
  • 如何从生产环境中修正或移除模型以最小化风险
  • How these 流程 repeat 和 intertwine to enable a cyclical 机器学习 operations process

一个成熟的 MLOps foundation can be represented by an automated system that streamlines all of the 模型’s life cycle steps, 从训练和部署, 在整个生产周期内, to its retirement 和 storage for 合规 和 risk 管理ment reasons, 提供整个过程的透明度. 不用说, the above needs to function with complete 和 seamless integration to all current Ops 和 Cloud services 和 流程.

遵循 这个链接 要了解更多.

为什么组织需要MLOps基础架构?

许多组织都在尝试 机器学习人工智能 (AI). 一些公司已经在收获一些 人工智能的回报 通过提高生产力和收入. 然而, for most organizations embarking on this transformational journey, the results are yet to be seen 和 for those who are already underway, 他们的结果看起来就像完全未知的水域.

根据一项 NewVantage 合作伙伴的调查在美国,只有15%的领先企业将人工智能能力投入到生产中. Most of these leading organizations have significant AI investments, 但他们获得切实商业利益的道路充满挑战, 至少可以说. 这有很多原因,正规十大真人网站发现几乎到处都在发生. 

想知道谁需要MLOps,请访问 这个页面.

的re’s a skill, motivation, 和 incentive gap between teams developing 机器学习模型 (数据科学家)和这些模型的操作员(DevOps、软件开发人员、IT等).). 这里存在大量的问题,这些问题因组织和业务单位的不同而不同. 以下是一些例子: 

  • Lack of available data science talent means that when organizations find someone with the right experience, 它们允许这些个体在最适合他们的环境中工作, 这就引出了下一个问题.
  • Models are typically created using DS-friendly languages 和 platforms, 谁通常是次优的,或者更多, 不熟悉行动小组和他们的服务, who were designed for regular software languages 和 platforms.
  • Ops teams are geared towards optimizing run time environments upon their cloud, 资源管理器, 基于角色的服务, 等. 数据科学团队不仅没有意识到这些依赖关系所需要的任何考虑, but are typically oblivious to them altogether 和 hence 模型s they create do not take these into consideration at all.
  • 缺少一个合适的本地人 与机器学习模型相关的治理结构, 与系统, 生命周期, 用户登录, 扼杀了故障排除, 以及法律和监管报告.
  • 如果组织没有正确地监控他们的模型,那么由于生产模型没有反映出来,最终可能会给组织带来巨大的风险 数据中不断变化的模式, 用户/消费者行为, 和 a host of other 问题 that may affect the accuracy of the 模型 和 that will not be altered upon when they happen.
  • Many operations professionals are not aware of the unique characteristics 和 sensitivities of 机器学习, 他们的职责是管理关键任务的生产环境, 非常谨慎和担心将机器学习部署到生产中可能会对他们的工作产生的影响. Lacking relevant ML 管理ment tools 和 流程 only compounds the risks associated with ML adoption. 这些合理的担忧只是造成进展和部署大幅延迟的微不足道的原因. data scientists are not familiar with the principles of production-grade code, 所以当最终出问题的时候,他们会花时间照顾他们的模特.

MLOps allows organizations to alleviate these 和 many other 问题 by providing a technological backbone for managing the 机器学习 生命周期 through automation 和 scalability. 它提供了负责生成模型的数据团队与传统上管理在生产环境中运行的服务的团队之间的无缝协作, 因此 简化实现战略目标的路径 企业希望通过人工智能实现的目标. 

MLOps的支柱

任何能够处理复杂情况的MLOps正规十大真人网站都必须精通以下四个关键领域,才能在大规模生产中安全交付机器学习应用:

没有这些柱子, 没有一个MLOps系统能够维持最大影响所需的复杂程度. 的 absence of these four critical areas would lead to more manual 流程, 人为错误空间, 甚至是程序盲点, 关键问题可能会被忽视几天或几个月, 放大公司和运营风险. 让正规十大真人网站仔细看看每一根柱子.

什么是模型部署?

所面临的挑战 

机器学习模型的起源可以追溯到无数的机器学习平台和各种编程语言, the creators of which are typically agnostic of actual 生产环境s 和 their mission critical considerations. When organizations try to implement them in an environment suited for normal software applications, 手动集成会产生摩擦, 到不能在不损害稳定性的情况下部署模型的点 生产环境. 作为一个结果, 组织失去了扩展此活动的选项, 以及收入和罚没成本的节省.

正规十大真人网站 

MLOps simplifies 模型 deployment by streamlining the 流程 between 模型ing 和 production deployments. It should not matter which platform or language the 模型 was built on. An enterprise-grade MLOps system should allow organizations to plug in their 模型s 和 generate consistent API 应用程序团队在另一端的访问, 不管部署环境和云服务和提供商的选择如何.  

探索生产模型部署的最佳实践

什么是模型监测?

所面临的挑战 

的re are many reasons for 机器学习 模型 degradation or other performance related 问题 over time. 例如,您可以使用客户数据对数据集进行实时预测,但是 顾客的行为模式可能已经改变在美国,由于经济危机、市场波动、自然灾害或仅仅是天气. 这些模型的性能不会有用,甚至可能对您的业务有害. Models trained on older data that doesn’t represent the current reality may be not only in准确的 but irrelevant. 的 root problem is that you wouldn’t k现在 or be able to tell when this happens. 没有专门为机器学习设计的生产监控, you could expose your business to risks cascading from not even k现在ing about completely irrelevant predictions.

正规十大真人网站 

MLOps 允许生产团队和人工智能团队以特定于机器学习的方式监控模型. A robust 监控 infrastructure should be able to proactively 监控 数据漂移,特征重要性,和 模型的准确性 问题. 高级功能可能包括为之构建的功能 增加对模型的信任 甚至在生产中. 例如,原则 谦逊在人工智能 指出模型不仅应该能够告知预测何时可能出错, but also when they’re not confident in the quality of their predictions.

Learn Some of the Best Practices in Production Model Monitoring

什么是模型生命周期管理?

所面临的挑战 

As organizations build out robust 机器学习 initiatives, the number of 模型s actually in production may grow exponentially, making managing these 模型s 和 their 生命周期 a cumbersome task. 大量的时间花在手动尝试上,以使这个过程井然有序,这可能包括所有与确保任何模型必须经过的阶段都流线型有关的事情, 通过灵活的工作流程批准, 并且尽可能的自动化. 一些例子:

  • 冠军/挑战者模型 门槛:现在,引入任何新车型(又名“挑战者”)的最佳做法是,首先将其投入生产,并在规定的时间内衡量其与前任车型(又名“冠军”)的性能, in order to determine whether the new 模型 is worthy of becoming the new ‘champion’ by outperforming it. While this process ensures increasing levels of quality 和 continuous improvement of predictions 和 模型 stability, the important thing is for this process to become completely automated.
  • Troubleshooting 和 Triage: simply 监控 模型s is not sufficient without the ability to triage, 进行故障排除, 并纠正可疑或表现不佳的模型.
  • 模型批准:一个正式的流程,旨在将与部署模型相关的风险最小化, 确保所有相关的业务或技术涉众都在模型上签字.
  • 生产中的模型更新:在不干扰生产工作流程的情况下交换模型的能力是业务连续性的关键.

正规十大真人网站 

MLOps 允许生产模型生命周期管理系统自动化流程, 例如冠军/挑战者门, 故障排除和诊断, 热交换模型批准, 和 offers a secure workflow to ensure the efficient 管理ment of your 模型s’ 生命周期 as you scale.

发现模型生命周期管理的力量

什么是生产模型治理?

所面临的挑战 

将机器学习模型投入生产的组织正在应对监管问题, 合规, 企业风险也是雷区, 特别是在CCPA等法规出台后, 欧盟/英国GDPR, 和其他人. 这一问题对于在全球范围内运营的组织尤其重要, where the maze of rules 和 laws becomes almost impossible to navigate. 在这些情况下,组织需要保持完整 模型 沿袭跟踪(批准、模型交互、版本部署、更新等).), something that is practically impossible to perform manually.

正规十大真人网站 

MLOps 提供企业级的生产模型治理正规十大真人网站,可以实现:

  • 模型版本控制
  • 自动文档
  • 所有生产模型的完整和可搜索的沿袭跟踪和审计跟踪 

这使得公司可以将公司和法律风险降到最低, 维护透明的生产模式管理管道, 最小化甚至消除模型偏差, 还能带来很多其他好处.

Learn How to Ensure Repeatable Processes for your Models in Production

数据科学的MLOps 领导人 和数据科学家

Data scientists 和 data science teams working on 机器学习 和 AI initiatives can immensely benefit from MLOps. 一方面, the solution will automate many parts of their day to day life, 另一方面, 它将帮助数据科学家有效地与他们的Ops同行合作, 减少了日常模型管理的负担.

MLOps allows data scientists to focus on what’s important — discovering new use cases to tackle, 致力于功能发现, 建立更深入的业务专业知识. Data scientists should not be wasting time maintaining 模型s or reviewing their performance manually. 不再需要手动测试、监控和验证. 

发现MLOps的好处 数据科学领袖练习数据科学家.

商业领袖的MLOps高管

具备MLOps功能, organizations can start focusing on things that really matter, 在整个组织中扩展人工智能能力, while simultaneously tracking KPIs that matter to each team 和 department. 

Business leaders are 现在 looking for assurance that their predictions are fast, 准确的, 最重要的是,可以不带偏见,值得信任. Ensuring that decisions are made on the predictions they receive is imperative, since the ability to allow the company to conduct deeper 和 more meaningful analysis means better business results. 然而, there are still many obstacles on the path to AI with ROI. 达到节约的目的, 组织和竞争利益, 以及可衡量的人工智能项目投资回报率, companies need to have MLOps 功能 in place to operationalize AI 和 机器学习 at scale.

发现MLOps的所有好处 商业领袖阶层 高管.

面向软件开发人员的mlop

在很多情况下, trying to get a 机器学习 模型 to work in an application or service turns into an endless ETL nightmare. 健壮的MLOps系统通过提供简单的部署和版本控制系统,为开发人员简化了这个过程, 支持一个清晰和易于管理 API

Developer-foc使用 MLOps 这些系统的特性包括但不限于:

  • 简单明了 API (休息)
  • Developer support for 机器学习 operations (documentation, examples, 等.)
  • 所有产品模型的版本控制和沿袭
  • 便携式Docker图像和更多

IT运营团队的mlop

MLOps被精确地构建,以允许IT团队完全控制生产模型, ensuring that any 模型 can be easily deployed in a matter of clicks, 无论它的起源还是编程语言. 它的设计看起来和感觉都像熟悉的It正规十大真人网站, 和 seamlessly integrated with leading IT 管理ment solutions. Eliminating the friction 和 disconnect between IT 和 AI teams.  

MLOps可以通过提供以下服务,让IT团队有机会在生产中获得人工智能的所有权:

  • Alerting 和 connection to service, IT 管理ment systems 和 ticketing systems
  • 回购集成
  • 改变审批工作流 
  • 无缝模型更新展示 
  • 健壮的访问控制管理(LDAP、RBAC等.),更

要了解更多关于IT运营团队mlop的信息,请访问 这个页面.

面向DevOps和数据工程师的mlop

MLOps允许DevOps和数据工程团队集中管理实际的机器学习模型层, 处理从测试和验证到更新和性能指标的所有事情, 在一个地方. 这使得您的业务能够无缝地扩展内部部署和监控功能,并随着时间的推移监控服务运行状况,以满足延迟,从而从AI中产生更多的价值, 吞吐量, 和可靠性sla. 

针对DevOps团队和数据工程师的MLOps应该包含多种功能:

  • 没有代码预测GUI
  • 异常、性能和偏差警告
  • 访问和优化 API
  • Swappable 模型s with automated gating of choice, guaranteeing smooth transitioning 和 100% uptime

风险和合规团队的mlop

MLOps基础设施允许风险和合规团队简化其内部流程,并提高复杂机器学习项目的监督质量. 一个成熟的MLOps正规十大真人网站应该支持各种特性, 比如可定制的治理工作流策略, 审批流程和警报, 立即提高对这些问题的认识,并确保所有血统都被跟踪,并能在任何需要的时候被发现. 

这也是概念的所在 谦逊在人工智能 再次发挥作用. 一个能够通过预测自我诊断问题并通知相关风险管理利益相关者的系统,可以让企业在生产过程中对机器学习项目进行更严格的控制. Additional key MLOps elements that risk 和 合规 teams should be on the lookout for are  built-in 预测的解释 功能、预测超时分析和审计日志.

To learn more about 风险和合规团队的mlop, visit 这个页面.

人工智能和卓越机器学习中心的MLOps 

建立一个协调, 战略一致, 和 scalable AI 和 机器学习-driven operation is difficult. 从处理组织的筒仓到违背公司的技术核心和“做事的一贯方式”,“这是一项艰巨的任务. MLOps allows AI 和 Ops teams to embed cutting edge predictive 模型s in an efficient 和 value-driven way. 

  • 在单个MLOps正规十大真人网站中,使用在任何平台和任何语言中创建的不同类型的模型进行工作和实验. 
  • 利用你已经拥有的基础,并在此基础上进一步发展, 不管运行时环境如何, 在前提或多云场景下. 
  • 部署可靠的、值得信赖的和公正的模型.

要了解更多关于人工智能MLOps和卓越机器学习中心的信息,请访问 这个页面.

DataRobot MLOps

DataRobot MLOps 允许组织进行部署, 管理, 监控, 和 govern their 机器学习模型 from a single place, 授权不同的涉众围绕在生产中扩展和管理可信ML模型的共同目标进行无缝协作. 作为一个起源和目的地不可知的平台, mlop可以与模型一起工作,不管它们是在什么环境或语言中开发的, 或者他们将被部署到哪里. 该平台包括专有模型健康监测,并通过自动挑战者模型不断学习,适应不断变化的条件,这些模型旨在测试现有模型在生产中的有效性, as well as automatically generating new challenger 模型s as needed.

datarbot确保所有集中的生产机器学习过程在一个健壮的治理框架下工作, leveraging 和 sharing the load of production 管理ment with additional teams you already have in place. 

在任何地方建立和运行你的模型

Our MLOps 功能 enable the deployment of practically any 模型 to virtually any 生产环境. 这可以是任何云环境、on-prem环境或混合环境. 最重要的是, datarrobot的监控功能可以确保您已经部署的生产模型将实时性能更新传输到一个单一的中央机器学习操作系统. 

MLOps监控代理 - MLOps独特地应用了DevOps世界中熟悉的代理概念,在你喜欢的基础设施中运行你的模型,同时在一个单一的玻璃面板中集中监控所有的模型.

中央和可扩展的ML监控系统 -专为此类场景而建立的专有监控, provide instant visibility into the performance of hundreds of 模型s, deployed anywhere 和 built by anyone across your organization.

灵活的部署模型 -在任何开源语言或库中轻松部署模型,并公开产品质量 休息 支持实时或批量预测的API.

自动模型运行状况监视和生命周期管理

内置数据科学专业知识 -完全产品化的机构设计,以表面漂移的数据,准确性和偏差.

连续模型比赛 – Automatically gate new 模型s via champion/challenger 流程.

生产诊断 —随着时间的推移监视服务运行状况,以满足延迟、吞吐量和可靠性sla.

嵌入式治理、谦逊和公平

谦逊而可信的人工智能 -通过比较不同行业可配置的道德准则的模型预测和准确性,确保人工智能的道德使用.

审批工作流模型 – Maintain thorough reviews of 模型 updates with less tedious manual work, using customizable 和 governed review cycles 和 approval workflows.

ML审计跟踪和日志记录 —法规遵从性, MLOps跟踪并保存了预测活动和任何模型更新的完整序列,因此您总是知道创建了什么模型, 使用, 当它被更新时, 以及由谁.

面向未来的AI项目

MLOps教育

datarrobot University允许任何人学习更多关于MLOps的基本概念, 以及深入研究数据机器人MLOps,以及它如何让企业扩大他们的人工智能和机器学习工作. 您可以从免费和付费两种选择中进行选择 MLOps课程 现在.

访问 这个页面 通过访问正规十大真人网站的课程、学习会议和资源来开始掌握MLOps.