全站搜索
首页_赢咖4星辉-官方注册地址
首页_赢咖4星辉-官方注册地址
赢咖4KAUST将机器学习训练速度提高7倍 有助于改进自动驾驶汽车等应用
作者:管理员    发布于:2021-08-26 11:55    文字:【】【】【

  赢咖4AI模型通过在数据库上进行训练来开发“智能”,而此类数据库都被事先标记好,以告知模型如何区分不同输入信息,然后再做出相应的反应。输入的已标记数据越多,该模型就越擅长完成分配给它的任务。对于自动驾驶汽车等复杂深度学习应用而言,它们需要大量输入的数据库以及很长的训练时间,即使采用了强大且昂贵的高度并行超级计算平台也是如此。

  在训练期间,小型的学习任务被分配给数十或数百个计算节点,然后在运行下一个任务之前,这些计算节点会通过通信网络分享结果。在此种并行计算任务中,计算量消耗最大的来源之一是每个模型步骤中计算节点之间的通信。

  KAUST的研究人员表示:“在分布式深度学习中,通信是主要的性能瓶颈。随着模型规模的迅速增长,我们还看到在学习过程中产生零值的比例在增加,称为稀疏性。我们的想法是利用此种稀疏性,通过只发送非零数据块来尽可能提高有效带宽的使用效率。”

  基于KAUST早期研发的SwitchML方法,即通过在处理数据传输的网络交换机上运行高效的聚合代码来优化节点间的通信,研究人员希望能够通过识别结果零,并研发一种方法,以在不中断并行计算过程中,同步减少传输,而进一步优化该方法。

  研究人员表示:“确切地说,如何利用稀疏性来加速分布式训练是一个具有挑战性的问题。所有的节点需要在同一时间内处理同一个位置的数据块,因此我们必须协调节点,以确保只聚合同一个位置的数据块。为了克服这个问题,我们打造了一个聚合程序以协调此类工作者,指导它们接下来发送哪个数据块。”

相关推荐
  • 赢咖4注册百融云创推出“ORCA”自动机器学习平台 助力金融机构智能化发展
  • 赢咖4KAUST将机器学习训练速度提高7倍 有助于改进自动驾驶汽车等应用
  • 赢咖4机器学习容易遗忘却很难!如何让机器“选择性失忆”保护我们的个人隐私?
  • 赢咖4注册未来颠覆性军事科技及应用前景
  • 赢咖4澳鹏Appen发布全新《人工智能与机器学习现状年度报告
  • 赢咖4苹果承认从2019年开始扫描用户邮件寻找虐童资料;新浪回应“花钱买热搜”传闻;李沐斯坦福《机器学习》课程上线极客头条
  • 赢咖4娱乐李沐在斯坦福开新课了!面向机器学习实战课程全部免费
  • 赢咖4娱乐意法半导体STM32CubeAI生态系统加强对高效机器学习的支持
  • 赢咖4娱乐机器会学习但它会遗忘吗?
  • 赢咖4科协文件
  • 脚注信息
    版权所有 Copyright(C)2020 星辉娱乐
    网站地图|xml地图|友情链接: 百度一下