全站搜索
首页_赢咖4星辉-官方注册地址
首页_赢咖4星辉-官方注册地址
赢咖4机器学习的朋友
作者:管理员    发布于:2021-04-30 11:56    文字:【】【】【

  今天,已经越来越多的企业选择AWS运行机器学习负载,Amazon SageMaker成为了助力企业云计算与人工智能有效结合的纽带;将机器学习带入数字化转型生产环境的助手;更成为了开发者、数据科学家、算法工程师的朋友。

  Amazon SageMaker是一项完全托管的机器学习服务,能够让开发者、数据科学家和算法工程师快速、轻松的将基于机器学习的模型构建到智能应用程序的生产实践中。它脱胎于亚马逊内部。在亚马逊的商业生态中,无论是电子商务、物流配送、在线的推荐和搜赢咖4注册索,随处都能看到机器学习的身影,如送货机器人、无人机配送,智能音箱Amazon Echo,无人值守的Amazon GO超市等等。

  如同AWS在2005年开始着手构建大型分布式系统,从而让云如“水电”般易用一样。机器学习在亚马逊内部所产生的价值,同样被带到了云端,AWS希望机器学习也同样为更多的企业与机构所用。

  人工智能有着十分悠久的发展历程,而从2011年开始伴随着云计算、大数据和移动互联网的热潮步入了蓬勃发展的阶段。即便如此,在2015年的时候,人工智能仍然没有出现在互联网的前10大搜索关键热词中。因为并不是每个企业都能掌握机器学习,算法并不容易构建,需要更多的计算资源,需要数据科学家这样的顶尖人才。

  这困扰着Swami,于是他赢咖4注册开始思考AI的用例,思考是否自己可以构建算法。于是,Swami在4个星期的假期中深入研究了深度学习算法和机器学习框架等知识,撰写了一篇关于AWS如何实现AI和机器学习的论文。

  Swami的论文具有绝对的商业意义,不仅推动了Amazon SageMaker走向云端,更为AWS提供易用的机器学习铺平了道路。

  经过2年的酝酿,2017年Amazon SageMaker正式上线。立即成为了AWS云端最受欢迎的云服务之一,为一级方程式赛车F1,美式橄榄球联盟NFL、GE、西门子等数万家企业提供机器学习。

  现在,AWS已经将Amazon SageMaker落地到由光环新网运营的AWS中国(北京)区域和由西云数据运营的AWS中国(宁夏)区域,得以让中国开发者更加快速、容易的使用,来完成机器学习的全栈工作。

  “AWS将中国作为人工智能、机器学习发展非常重点的区域之一,Amazon SageMaker的落地对于中国机器学习的发展,对中国企业的AI创新具有很大的意义”,AWS首席云计算企业战略顾问张侠博士说。

  从诞生到落地中国市场,AWS在机器学习上的锐意创新,不断让机器学习在云上拓展羽翼,逐渐成为了适用机器学习的一站式平台,包括底层的基础架构和机器学习框架,平台层的机器学习服务Amazon SageMaker,以及上层的丰富AI服务。

  机器学习项目就是发现问题,建立模型解决问题的过程。从数据的收集,机器学习的框架和算法选择,对模型进行训练、优化和测试,涉及不同的参数和排列组合,用DOE(Design of Experiment)的工程设计思路找到这个模型,在生产环境中部署这些模型来进行推理,最终业务的洞察和发展提供支撑。

  传统的机器学习是一个复杂、昂贵、迭代的过程,而且缺乏集成工具用于整个机器学习工作流程,企业需要将工具和工作流程拼接在一起,这既耗时又容易出错。“过去实现它,企业需要具备人工智能、计算机专业、理论物理统计、应用数学的专业人员,使用软件开发、算法、数学的模型等方法,耗费很长的时间来实现”,张侠博士说。

  而且,这个专业过程是大数据、充足的计算能力,择优的算法,模型的训练和部署的综合作用。现在,AWS机器学习服务打通了云计算与人工智能一体化的通道,将广泛与深度的机器学习解决方案交付给用户,将云计算、大数据平台、机器学习平台,以及深度学习框架有效的结合在一起。“云计算起到了非常关键的作用,来提供机器学习需要的大数据的存储、算力、框架和需要的算法”,张侠博士强调。

  底层,由计算资源、容器、框架等构成了AWS机器学习服务的底座,供Amazon SageMaker来调用它们。AWS提供了极其开放、包容的开源框架策略,涵盖了几乎所有主流框架,比如TensorFlow、PyTorch、Apache MXNet、Chainer、Gluon、Horovod和Keras等机器学习框架和接口标准,用户可基于框架的不同特点,应用在不同的场景中。

  底层的基础架构方面,AWS的虚拟机提供各种各样的计算实例。满足大规模图形并行计算和大规模图形计算的GPU/CPU实例类型P3和G4系列,使用AWS自研的Inference芯片的超高性价比的推理服务实例,以及深度学习的AMI(Amazon Machine Image)镜像,AWS将虚机中的操作系统、配置都做成镜像,用户可立即启动。

  中间层Amazon SageMaker服务负责数据准备,算法构建,模型训练,以及模型部署。“Amazon SageMaker是机器学习服务的核心,它就像一个‘魔法生成器’,能够贯穿机器学习的整个流程”,张侠博士说。

  Amazon SageMaker消除了机器学习过程中各个步骤的繁重工作。通过预置的Notebook、内置大量常用算法,以及自动模型调优,大大降低了模型构建和训练的难度,显著简化和加快了模型训练过程,可以通过自动提供和管理基础设施来训练模型和运行推理。

  上层,AWS提供了计算机视觉、认知、语音、预测与推荐、自动语音识别等丰富的AI服务,让用户拿来即用。

  此次在中国市场,Amazon SageMaker推出了集成开发环境(IDE)Amazon SageMaker Studio,弹性笔记本Amazon SageMaker Notebooks,实验管理Amazon SageMaker Experiments,调试与分析Amazon SageMaker Debugger,自动构建模型Amazon SageMaker Autopilot,概念漂移检测Amazon SageMaker Model Monitor等机器学习服务,让客户能够更轻松地构建、训练、调优和部署机器学习模型等服务。

  使用Amazon SageMaker,用户能够完成机器学习的数据收集和准备,选择并构建ML算法,进行模型训练和调优,以及模型的部署和管理,整个机器学习过程“一气呵成”。

  机器学习的发展仍然处于快速变化的进程中,企业既需要多样性的工具和算法来提升机器学习的效率,也需要灵活的兼顾成本、开源生态的选择。

  “Amazon SageMaker对开放性有着非常高的优先权,主要体现在框架的开放性,集成的开放性,以及生态的开放性三个方面”,张侠博士说。

  首先,框架的开放性方面。AWS是机器学习开源生态的重要力量之一,不仅是Apache MXNet的领导者,还是Jupyter notebook的联合发起人。

  同时对TensorFlow、PyTorch等主流框架也投入很大的力度进行研发和优化。比如TensorFlow和MXNet都有自己成熟的模型服务(Model Server),PyTorch上一直没有易用的模型服务,于是AWS和Facebook合作推出了PyTorch模型服务框架TorchServe,满足丰富的模型部署来做推理服务。

  目前全球超过85%的云上TensorFlow工作负载都跑在Amazon SageMaker上,在256个GPU的集群扩展效率测试中,AWS优化的Tensorflow的扩展效率高达90%,而默认的开源版本只有65%。

  框架的选择上,AWS把主动权交给了用户,既可以选择AWS的内置算法;也可以使用Tensorflow、PyTorch这样的框架,或将用户自己的框架通过BYOC的方式在Sagemaker上跑起来。

  其次,集成的开放性。虽然Amazon SageMaker是端到端的机器学习平台,但并不是“非此即彼”,用户可以根据需要选择其中一项或多项服务。“用户完全可以通过API、SDK的方式,将Amazon SageMaker集成到自己的机器学习平台中”,张侠博士强调。

  最后是生态系统的开放性,目前在Amazon SageMaker的Markerplace中,已经有上百家供应商上线了自己的模型和算法,用户可一键使用。

  虽然中国市场还未上线Markerplace,但许多工业场景、咨询等第三方合作伙伴已经将他们的解决方案放到了Amazon SageMaker上,帮助企业打通机器学习端到端的‘最后一公里’,如德勤科技、中科创达、伊克罗德等。

  与DevOps类似,MLOps可以解决构建机器学习过程中,算法工程师、数据科学家与平台运维团队的问题。

  虽然产品经理、应用开发、算法工程师和数据科学家,以及运维团队有着十分明确的职责定位,但现实情况是企业对机器学习的理解程度不同,机器学习代码跟应用代码的紧耦合性,以及企业出于成本考量等因素,使得算法和数据科学家团队的位置十分尴尬。

  比如很多算法工程师和数据科学家在企业中无法“人尽其用”,时常不得不参与到调试本地系统环境的工作中去。由于对机器学习的认知程度不高,很多企业的算法团队做了很多工程方面的事情,使得他们无法专注在算法研究上。

  这种尴尬还体现在模型的交付过程中,因为机器学习代码与应用程序代码是紧耦的,当模型在做A/B Test进行快速迭代,以及推理的时候,所需要收集的参数、环境,模型是否可用,一系列的指标并不能得到保障,给指标的收集增加了难度。因为MLOps对平台和运维团队的迭代侧重点,端到端pipeline的侧重点跟DevOps存在着差异。

  在云原生环境中为各个部门划出了界限,可以很快利用自动化的方式,将端到端的pipeline搭建好,平台和运维团队只需要把机器学习团队需要的权限配置好,数据权限、云资源等,应用开发团队定义好应用接口、调用模型,机器学习团队在Amazon SageMaker基于Notebook 进行数据处理、模型构建、模型训练,推理托管。

  Amazon SageMaker大大加速了MLOps对机器学习的建设过程,让MLOps的分工更加清晰,为算法工程师和数据科学家提供了施展其才能的舞台。

  已有不少研究提出对机器学习的安全性的关注,典型的案例是通过愚弄机器学习算法,黑客只要了解模型,知道算法对数据分类的方式,就能使用这些数据来训练或攻击不同的模型。

  “如何使用机器学习是企业目前的重点,他们还没意识到机器学习安全的重要性,一旦发生是致命的”,AWS表示。

  你可以想象,一辆正在行驶中的无人驾驶汽车,没有正确识别前方的障碍物,会有怎样的后果。所以,不要等到机器学习算法使用后,再考虑安全的问题。

  Amazon SageMaker为企业踏实开展机器学习提供了最佳的安全设计与实践。底层安全设计上,Amazon SageMaker会给每个用户独立的空间,用户可完全自己定义Amazon S3中哪些数据资源被访问到;而在对于网络级的访问,用户也完全自主可控。而其他的基础设施安全、框架、模型访问到部署的端到端安全都由AWS负责。

  很多的机器学习安全实践问题,正发生实验室中,最典型的线下场景是当实验室采购了一台NVIDIA Tesla V100的显卡,数据科学家排队训练模型。这种情况下,因为没有合适的工具集来支持这个环境,导致数据安全、运行时安全都无法保障。

  而在Amazon SageMaker上则不同,编程和训练是分开的,编程是以容器和单机的方式来支撑用户用很低的资源写代码,训练以集群的方式发布,既节省资源,又保证了数据安全。

  Amazon SageMaker将机器学习的安全设计上做到了事前,安全实践做到了事中、事后,为机器学习的全生命周期提供了保障。

  2020年4月20日,国家发改委首次明确了“新基建”的7大领域,人工智能是其中之一。赛迪智库在其《“新基建”发展白皮书》中预测,2025年中国人工智能基础设施建设新投资约为2200亿元,带动人工智能核心产业规模超过4000亿元。

  作为人工智能的重要子概念,现在几乎所有的行业都已经在机器学习影响的范围之内。如医疗健康、教育,金融和智能制造等。

  最为直观的感受是在疫情期间,医疗健康、在线教育和媒体娱乐行业中,机器学习发挥越来越重要的作用。

  “在医疗健康和生命科学的全生命周期,比如基因测序、药物的发现、个性化医疗诊断、精准医疗和在线医疗等场景应用中;在媒体娱乐的短视频的个性化推荐场景中;在金融行业的从风险欺诈侦测到智能投顾的场景中。机器学习都发挥了很大的作用”,张侠博士说。

  数字化转型已经成为企业发展的关键,渗透到了客户体验,商业运营、战略决策、科技创新和竞争力的各个层面,机器学习成为了数字化转型的核心。张侠博士预测,机器学习是下一阶段引领企业转型和创新的抓手和突破点,若企业能够将机器学习的能力充分应用到企业发展的重要环节,将能够使得企业的数字化转型处于非常有利的地位。

  大宇无限是一家移动应用的初创出海企业,为东南亚、拉美和中东等新兴市场提供移动短视频服务,其核心应用Snaptube的月活用户已经突破1亿,借助Amazon SageMaker仅用三个月时间构建了精准的个性化内容推荐系统。

  “对初创企业来说,要构建满足海量用户、有千万级视频推荐,以及相匹配的机器学习平台,在人力和时间相当有限的情况下完成是一项非常大的挑战。Amazon SageMaker的出现,帮助了我们实现从0到1的突破。据估算,整体机器学习模型训练成本与自己搭建相比,可节省70%的训练成本。而且服务稳定,基本上不用投入运维人力”,大宇无限机器学习技术总监苏映滨说。

  关键词

  本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。

相关推荐
  • 赢咖4机器学习新算法更好描述量子系统模型
  • 赢咖4机器学习的朋友
  • 赢咖4谷歌将发布新版本Google Photos:基于机器学习模式
  • 赢咖4娱乐【中国科学报】机器学习为巡天项目提供分类预测
  • 赢咖4娱乐百年老字号打造智创工匠 “电工”要学机器人编程
  • 赢咖4娱乐苹果将斥资10亿美元新建园区 专注机器学习、人工智能等领域
  • 赢咖4苹果公司将在北卡罗来纳州新园区专注于机器学习和人工智能工作
  • 赢咖4娱乐机器学习让骨科图像分析更进一步
  • 赢咖4注册Microsoft Defender利用基于Intel的机器学习技术来检测恶意挖矿
  • 赢咖4娱乐2021年机器学习概念股名单一览一文看懂
  • 脚注信息
    版权所有 Copyright(C)2020 星辉娱乐
    网站地图|xml地图|友情链接: 百度一下