全站搜索
首页_赢咖4星辉-官方注册地址
首页_赢咖4星辉-官方注册地址
赢咖4娱乐150页在线书「几何深度学习」上线:利用对称性和不变性解决机器学习问题
作者:管理员    发布于:2021-05-01 00:36    文字:【】【】【

  CNN、GNN、LSTM、Transformer 等深度学习模型之间的共通之处是什么?在这本书里问题得到了解答。

  近十年来,数据科学和机器学习领域取得了巨大的进展。借助深度学习方法,许多高维学习任务(例如计算机视觉、蛋白质折叠)在适当的计算规模下也能够完成。虽然在高维空间中,学习通用函数是一个非常困难的问题,但大多数任务上方法不是通用的,并且物理世界的基础低维和结构存在一些必要的预定义规律。

  图神经网络和几何深度学习近期的一系列进展,有希望帮助机器学习解决更加深入复杂的问题。

  几何深度学习,是从对称性和不变性的角度对广义机器学习问题进行几何统一的尝试。这些原理不仅是卷积神经网络的突破性性能和图神经网络的近期成功的基础,而且还为构建新型的、面向特定问题的归纳偏差提供了一种有原则的方法。

  近日,一本名为《几何深度学习》的新书通过可在各种应用程序中应用的几何统一原理来揭示其中的规律性。这种「几何统一」具有两方面的意义:一方面,它提供了一个通用的数学框架来研究一些神经网络架构,例如 CNN,RNN,GNN 和 Transformer。另一方面,它提供了一个建设性的程序,可以将先验物理知识整合到神经架构中,并提供原则性的方法来构建一些新的架构。

  在这本书中,研究者从对称性,不变性和群论的角度出发,试图提炼出「构建所有常用神经架构所需的知识」。涵盖了诸如 CNN、GNN、Transformer 和 LSTM 之类的常用模型,同时还包括球面卷积神经网络(Spherical CNN)、SO(3)-Transformer 和 Gauge Equivariant Mesh CNN 等新模型。

  全书包括内容简介、高位空间中的学习、几何先验知识、几何域、几何深度学习模型、存在的问题与应用、历史观点共 7 章内容。以下是该书目录:

  该书作者之一,DeepMind 资深研究科学家 Petar Veli?kovi?表示:「如果你此前尚未接触过群论知识,则我们构建的一些概念看起来会有些不太真实。

  为此,你可以事先观看一些作者之间视频分享的内容作为前置,也许这可以使某些无法以文字准确描述的内容变得更加「生动」。

  Petar Veli?kovi?在剑桥大学的分享——图神经网络的理论基础:

  域:定义数据的所有「点」的集合。例如,对于图像来说,域是所有像素的集合;对于图来说,域是所有节点和边的集合。注意,该集合可能是无限的或者连续的,但是将其想象为有限的可能会让一些数学运算变得容易。

  对称群:集合Ω到Ω自身双射的集合(g: Ω Ω)。例如,通过将图像上每个像素向右移动一个 slot,并不会改变图像上的对象。

  对称操作必须是可组合的。例如,如果将球体绕 x 轴旋转 30 度,然后绕 y 轴旋转 60 度,并假设每次旋转不会改变球体上的对象,那么连续使用多次变换,那么球体上的对象也没有发生改变,即绕 x 轴旋转 30 度,然后绕 y 轴旋转 60 度也是一种对称操作。通常,如果 g 和 h 是对称操作,那么 g o h 也是对称操作。

  对称操作必须是可逆的——如果我没有更改底层对象,那么我必须能够返回自己的来源(否则意味着丢失信息)。因此如果将球体顺时针旋转 30 度,那么是可以通过逆时针旋转 30 度来「撤消」原动作的。如果 g 是对称的,则 g ^-1 必须存在(并且也是对称的),这就使得 g o g ^-1 = id (恒等)。

  所有这些属性相加,你就会发现所有对称集与组合运算符(o)一起组成了一个 group,这是在书中广泛使用的数学结构。

  在机器学习社区中,对称性的重要性早已被人们认可,尤其是在模式识别和计算机视觉应用中,有关等变特征检测的早期工作可以追溯到 Shunichi Amari 和 Reiner Lenz 在上个世纪的研究。在神经网络的领域中,Marvin Minsky 和 Seymour Papert 提出的感知器的群不变性定理对(单层)感知器学习不变性的能力进行了基本界定。这是其后多层架构研究的起点,最终引向了深度学习。

  赢咖4

相关推荐
  • 赢咖42021全球机器学习技术大会北京圆满收官
  • 赢咖4娱乐150页在线书「几何深度学习」上线:利用对称性和不变性解决机器学习问题
  • 赢咖4机器学习新算法更好描述量子系统模型
  • 赢咖4机器学习的朋友
  • 赢咖4谷歌将发布新版本Google Photos:基于机器学习模式
  • 赢咖4娱乐【中国科学报】机器学习为巡天项目提供分类预测
  • 赢咖4娱乐百年老字号打造智创工匠 “电工”要学机器人编程
  • 赢咖4娱乐苹果将斥资10亿美元新建园区 专注机器学习、人工智能等领域
  • 赢咖4苹果公司将在北卡罗来纳州新园区专注于机器学习和人工智能工作
  • 赢咖4娱乐机器学习让骨科图像分析更进一步
  • 脚注信息
    版权所有 Copyright(C)2020 星辉娱乐
    网站地图|xml地图|友情链接: 百度一下