导读ICML2016 - Learning Convolutional Neural Networks for Graphs
2016-06-20 15:50
459 查看
http://mp.weixin.qq.com/s?__biz=MzIxNzE2MTM4OA==&mid=2665642794&idx=1&sn=b11ec8699218d43bb7b404a4980bf82e&scene=25
感觉方法挺好:
原创 2016-06-10 涂存超 智能立方
文章原名:Learning Convolutional
Neural Networks for Graphs
作者:Mathias
Niepert, Mohamed Ahmed, Konstantion Kutzkov
单位:NEC
Labs Europe, Heidelberg, Germany
译者:涂存超
链接:http://arxiv.org/abs/1605.05273
【导读】
这篇文章提出了对任意的图(网络)学习卷积神经网络的框架。这些图可以是有向的或者无向的,节点和边的属性也可以是离散的或者连续的。对于图像来说,卷积神经网络对输入图像的局部关联的区域进行操作,和此类似,本文提出了一种通用的方法,也抽取图中局部关联的区域进行相应的操作。在标准数据集上的实验结果显示,本文提出的方法学习到的特征表示和目前最先进的graph
kernel的方法可比,并且计算效率非常高。
【模型】
为了能够对任意结构的图进行卷积操作,这篇文章提出了PATCHY-SAN (Select-Assemble-Normalize)的方法,通过三个步骤构建卷积分片:1.从图中选择一个固定长度的节点序列;2.对序列中的每个节点,收集固定大小的邻居集合;3.对由当前节点及其对应的邻居构成的子图进行规范化,作为卷积结构的输入。通过上述三个步骤构建出所有的卷积片之后,利用卷积结构分别对每个分片进行操作。具体示意图如下图所示。
下面具体介绍一下构建卷积分片的步骤以及最后的卷积结构。
节点序列选择:为了对图中所有的节点进行标号排序,本文引入了图标号函数,将图中的节点集合根据向心性(节点的度、中心度等)映射为有序的节点序列。从该序列中根据一定的间隔s隔段选取w个节点构成最终的节点序列。
邻居节点收集:对于上一步获得的节点序列中的每一个节点,利用广度优化搜索扩展邻居节点,和源节点一起构成一个k大小的邻域集合。
子图规范化:对于一个邻域集合的规划化过程如下图所示。对邻域集合中的个节点按照标号函数k进行排序,得到接受域。那么,对于节点的属性,k个节点属性值构成了一个输入通道,对于边的属性,k^2个属性值也构成了一个输入通道。我们可以分别用一维的卷积层来处理这两种输入通道(对于节点属性卷积层长度为k,对于边属性卷积层长度为k^2)。
【贡献】
这篇文章提出了一种通用高效的对任意的图进行表示学习的框架。同图像中的卷积神经网络类似,本文也是通过构建图中局部相连的邻域,然后对这些邻域进行卷积等操作。
其主要贡献在于,首先,将图像领域的卷积神经网络的概念扩展到网络图上。其次,本文提出的PATCHY-SAN模型与现有的方法相比十分高效,而且适用于大规模网络图。同时,PATCHY-SAN也支持对于学习到的图的特征的可视化,能够对图的结构属性有更深层的了解。下图就是对四种不同类型的图的特征可视化及抽取的邻域的可视化。
在实验部分,如下图所示,本文还证明了提出的针对图的CNN与目前最先进的graph
kernel方法相比是有效的。
在理论上,这篇工作的主要贡献还包括:1.定义了的图及其复杂度的规范化问题;2.推导并提出了一种比较图集合中不同标号函数的对比方法。
感觉方法挺好:
论文引介 |Learning Convolutional Neural Networks for Graphs
原创 2016-06-10 涂存超 智能立方文章原名:Learning Convolutional
Neural Networks for Graphs
作者:Mathias
Niepert, Mohamed Ahmed, Konstantion Kutzkov
单位:NEC
Labs Europe, Heidelberg, Germany
译者:涂存超
链接:http://arxiv.org/abs/1605.05273
【导读】
这篇文章提出了对任意的图(网络)学习卷积神经网络的框架。这些图可以是有向的或者无向的,节点和边的属性也可以是离散的或者连续的。对于图像来说,卷积神经网络对输入图像的局部关联的区域进行操作,和此类似,本文提出了一种通用的方法,也抽取图中局部关联的区域进行相应的操作。在标准数据集上的实验结果显示,本文提出的方法学习到的特征表示和目前最先进的graph
kernel的方法可比,并且计算效率非常高。
【模型】
为了能够对任意结构的图进行卷积操作,这篇文章提出了PATCHY-SAN (Select-Assemble-Normalize)的方法,通过三个步骤构建卷积分片:1.从图中选择一个固定长度的节点序列;2.对序列中的每个节点,收集固定大小的邻居集合;3.对由当前节点及其对应的邻居构成的子图进行规范化,作为卷积结构的输入。通过上述三个步骤构建出所有的卷积片之后,利用卷积结构分别对每个分片进行操作。具体示意图如下图所示。
下面具体介绍一下构建卷积分片的步骤以及最后的卷积结构。
节点序列选择:为了对图中所有的节点进行标号排序,本文引入了图标号函数,将图中的节点集合根据向心性(节点的度、中心度等)映射为有序的节点序列。从该序列中根据一定的间隔s隔段选取w个节点构成最终的节点序列。
邻居节点收集:对于上一步获得的节点序列中的每一个节点,利用广度优化搜索扩展邻居节点,和源节点一起构成一个k大小的邻域集合。
子图规范化:对于一个邻域集合的规划化过程如下图所示。对邻域集合中的个节点按照标号函数k进行排序,得到接受域。那么,对于节点的属性,k个节点属性值构成了一个输入通道,对于边的属性,k^2个属性值也构成了一个输入通道。我们可以分别用一维的卷积层来处理这两种输入通道(对于节点属性卷积层长度为k,对于边属性卷积层长度为k^2)。
【贡献】
这篇文章提出了一种通用高效的对任意的图进行表示学习的框架。同图像中的卷积神经网络类似,本文也是通过构建图中局部相连的邻域,然后对这些邻域进行卷积等操作。
其主要贡献在于,首先,将图像领域的卷积神经网络的概念扩展到网络图上。其次,本文提出的PATCHY-SAN模型与现有的方法相比十分高效,而且适用于大规模网络图。同时,PATCHY-SAN也支持对于学习到的图的特征的可视化,能够对图的结构属性有更深层的了解。下图就是对四种不同类型的图的特征可视化及抽取的邻域的可视化。
在实验部分,如下图所示,本文还证明了提出的针对图的CNN与目前最先进的graph
kernel方法相比是有效的。
在理论上,这篇工作的主要贡献还包括:1.定义了的图及其复杂度的规范化问题;2.推导并提出了一种比较图集合中不同标号函数的对比方法。
相关文章推荐
- A Bite Of Spectral radius
- Zabbix Graphs汇总
- Codeforces Round #237 (Div. 2) C
- Dijkstra算法笔记---最短路
- HDU1874 畅通工程续 解题报告--最短路dijkstra算法
- HDU2145 zz's Mysterious Present 解题报告 ——最短路dijkstra算法
- cacti 脚本批量添加 graphs tree
- zabbix3.0.2上安装graphtrees
- zabbix服务器监控交换机添加图像Graphs
- [深度学习论文笔记][Object Detection] Fast R-CNN
- Cracking the Coding Interview: Trees and Graphs
- javascript 图(Graphs)算法与说明
- zabbix 创建的图Graphs删不掉解决办法
- [CS231n@Stanford] Assignment2-Q1 (python) Fully-connected Neural Network实现
- [CS231n@Stanford] Assignment1-Q5 (python) features实现
- [CS231n@Stanford] Assignment1-Q4 (python) Two layer neural network实现
- [CS231n@Stanford] Assignment1-Q3 (python) Softmax实现
- [CS231n@Stanford] Assignment1-Q2 (python) SVM实现
- [CS231n@Stanford] Assignment1-Q1 (python) KNN实现
- 羽毛球单打和双打的有效边界区域