全站搜索
首页_赢咖4星辉-官方注册地址
首页_赢咖4星辉-官方注册地址
赢咖4注册详谈机器学习模型算法的质量保障方案
作者:管理员    发布于:2021-05-06 02:32    文字:【】【】【

  模型算法在越来越多的工业实践中落地。在滴滴,大量线上策略由常规算法迁移到机器学习模型算法。如何搭建机器学习模型算法的质量保障体系成为质量团队急需解决的问题之一。本文整体介绍了机器学习模型算法的质量保障方案,并进一步给出了滴滴质量团队在机器学习模型效果评测方面的部分探索实践。

  近年来,随着技术的发展,机器学习模型算法在越来越多的工业实践中落地,在以深度学习为基础的语音智能、图像智能方面表现尤为突出。 在我司,大量线上策略由规则算法迁移到机器学习模型算法且在多个方向的实践中取得了不错的成绩,如: 拼车排队预估模型、司机调度控badcase模型、取消率模型等。 机器学习与传统软件不同,后者的行为基于不同的输入预先确定,运算逻辑是可解释的。 在给定输入下,预期输出结果是可以前置确定的。 而在机器学习模型尤其是分类模型中,模型基于大量数据训练,输入的是数据及相应的label,训练过程对人黑盒,人无法预先前置的确定其结果。 总体来说模型测试的难点体现在如下几个方面:

  (2)数据质量,主要体现在模型训练及使用阶段,其所涉及的数据体量一般都很大,对数据质量的把控无法做到较细粒度

  (4)模型效果验证, 业界公司质量团队主要通过一些大的业务指标来评测,在搜索推荐领域、金融风控等领域有较好的落地。但业务指标通常是对模型效果“面”的度量。在助力模型找出迭代方向上相对乏力。

  一定程度上,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限的手段。在对模型测试之前,我们可能会有如下一些疑问

  从上图可以看出,机器学习模型的质量保障主要落在如下几个方面:数据质量、特征质量、模型算法质量及模型效果评测。落到模型接口层还需要考虑接口的性能、稳定性。此外也需要考虑线上模型的安全性,尤其是无监督的深度神经网络之类的模型。如:攻击者通过精心设计的样本来破坏模型的训练数据或通过引入噪声、干扰来“愚弄”模型,从而最终使模型做出错误的判断。

  我司在机器学习模型质量保障方向上的落地主要体现在如下几个方向:数据质量、接口质量、模型监控、模型效果评测等4个方向。其中模型监控的建设在各质量团队内广泛应用,是当前主要的兜底措施。模型算法质量当前主要由策略同学自行测算,而用户视角的特征有效性、特征关联性等特征质量度量尚有较大提升空间。

  当前突出的问题是:模型从训练到上线所依赖的基础服务分散对口在各质量团队,相互之间断层没有形成一个体系化的模型质量保障平台。目前的一个利好消息是:原来分散在各团队的机器学习模型训练部署平台目前正在逐渐收敛到统一的策略中台,1.0版本已经上线。因此,接下来机器学习模型质量保障的重心将会集中在搭建体系化的模型质量保障平台上,并在特征质量、模型效果评测上进一步深耕,抽象出通用评测能力落地平台化。贴一张图,来对当前我司在机器学习模型质量保障方面的现状做个总结:

  我们此前一直深耕在线上策略评测及badcase挖掘上,故对于策略线上效果的评测积累了较为丰富的经验。 一次较为 偶然的机会开始对拼车ETD模型做效果评测。 实际演进的路线为: 线上 → 离线,线上主要从城市+业务线+场景多维度做模型效果应用指标 层评估,从而帮助策略同学更直观的找出其主要偏 差场景, 其次我们对模型的业务链路进行了建模,将真实样本数据映射到相应的节点上,从而度量出关键偏差路径。 最后我们复用了此前积累的badcase下钻能力,对模型业务链路上关键偏差节点进行了根因下钻,从而找出了部分对模型效果有影响的一些新特征。

  总体来说,在机器学习模型效果评测方面,我们的价值点主要体现在如下几个方面:

  模型质量保障在国内外各大公司中,整体处于摸索建设阶段。 主要原因为: 相对于传统质量保障其难度大、技术要求高,模型应用背景差异大。 我司在整体模型质量保障方面,缺少体系化的建设,模型特征度量这一环无啥实际落地。 得益于长期以来,我们在线上策略评测和badcase挖掘方面的积累,在模型效果层面我们相对业界扎的更深,走在了业界前列,所做的工作对实际模型效果的提升起到了很好的辅助作用,但仍然需要进一步思考把对模型评测的通用能力抽象出来,落地平台化,从而能更轻量的辅助策略团队找到模型效果提升的切入点。

  点击右方佳嵌图标,可以看所有课程。我们将《嵌入式工程师-系列课程》分成两大阶段:第一阶段:《计算机体系结构》课程&n

  近年来,机器学习在学术研究领域和实际应用领域得到越来越多的关注。但构建机器学习模型不是一件简单的事情....

  DeepCube技术应用了许多已获得专利的突破性算法,来改善数据分析和基于高级深度学习的人工智能系统....

  “精谱测控无纺布瑕疵在线检测设备”,完全按照国内无纺布产品生产的特定条件而设计研发制造。其中系统的自....

  针对无纺布本身厚薄不均、结构稀疏不均的材料特性以及瑕疵分布的随机性,比如无纺布的正面、反面及中间,传....

  你是否也有这样的困惑: “看了无数个入门教程,这个门还是没跨进去……” 这一次,你可能终于有救了! ....

  编码器实现指标分析 LDPC码编码器实现编码器方案验证与优缺点分析 ...

  在一个演示实验中,机器人启动后,并没有直接抬腿迈步,而是面对前方的“小沟”做了7-8秒的“思考”停顿....

  近日,艾伦人工智能研究所推出AI框架A12-THOR 3.0版本,新增视觉对象操作框架Manipul....

  今天小编给大家介绍的这款外骨骼机器人有点不一般,据外媒报道,不仅和波士顿动力的Atlas人形机器人使....

  专为处理人工智能/机器学习(AI / ML)、5G基础设施、网络处理、计算存储、测试和测量等应用中的....

  近期,中国科学院苏州生物医学工程技术研究所宋一之、复旦大学附属华山医院王明贵和英国牛津大学Wei H....

  2021年4月28日,由全球专业的电子科技媒体电子发烧友主办的“2021无刷直流电机控制技术研讨会”....

  在多核异构的时代,软件人员普遍面临的一个困惑是,面对如此复杂的系统,应该如何部署我们的算法,是应该让....

  基于CMN-600的成功基础,CMN-700在每个矢量上进一步提升了性能——从内核的数量、缓存的大小....

  什么是AES算法? 如何对AES算法进行优化? 怎样快速实现AES算法? ...

  本文讨论一种新型的VLD解码结构,它通过并行侦测多路码字,将Buffer中的多个可变长码一次读出,这将极大地提高VL...

  RC5及RC6的参数及运算部件 怎么对RC5和RC6算法进行改进? ...

  怎样去设计LWIP? ICMP层有哪些不足? 如何对ICMP层进行改进? ...

  μC/OS-Ⅱ关键算法逻辑 如何去改进μC/OS-II的关键算法? 改进的μC/OS-II在LPC2210上的移植 ...

  01BLDC电机控制算法 无刷电机属于自换流型(自我方向转换),因此控制起来更加复杂。 BLDC电机...

  在ARM上改动算法的有什么利弊吗? 什么是μc/Os-Ⅱ就绪表算法? 如何去改动μc/Os-Ⅱ就绪表算法? μc/Os...赢咖4

相关推荐
  • 赢咖4人工智能和机器学习面临数据中毒的解决措施
  • 赢咖4注册详谈机器学习模型算法的质量保障方案
  • 赢咖4注册五个机器学习中的常见难题及解决方法
  • 赢咖4人工智能和机器学习如何推动智能网络安全解决
  • 赢咖4娱乐JavaScript开发者数量暴增Python超Java揭晓全球开发新趋势
  • 赢咖4现代研发AI机器学习智能巡航控制系统情况如何
  • 赢咖4娱乐网络安全中的人工智能、机器学习和自动化
  • 赢咖4娱乐苹果收购机器学习公司Inductiv以改善Siri数据
  • 赢咖4娱乐深度学习跑在公有云还是本地更划算?
  • 赢咖4机器学习如何提升风能的价值
  • 脚注信息
    版权所有 Copyright(C)2020 星辉娱乐
    网站地图|xml地图|友情链接: 百度一下