沈老师的视频总结【未完待续ddd!】

沈老师的视频总结【未完待续ddd!】

在神经网络还是全连接层的时代，由于模型参数是在过多导致模型难以训练。尽管，理论上，全连接层的模型可以拟合任意的线性函数和非线性函数，但是，由于该模型参数是在过多，导致训练难以实施。

于是，出现了两种解决方案：

（1）在2006年：G. E. HINTON AND R. R. SALAKHUTDINOV在since上发表了一篇论文，他提出了一种自编码器 auto-coder : 论文是：Reducing the Dimensionality of Data with Neural Networks

链接是：Reducing the Dimensionality of Data with Neural Networks | Science

（2）Y. LeCun 等人认为之所以全连接层的神经网络年难以训练，就是因为参数太多， 自由度太大。他想通过限制全连接层网络的表达能力 （给网络做结构设计），使得神经网络好训。相当于把人的一些先验知识带到神经网络中去

==》总言之，他们想设计一种新的网络结构 ，后来设计出的结构就是  ： 卷积

一开始，他们就研究的是图像，因为图像是low-level

层次化：先定义了一个个卷积核，在图像上扫过去，得到一个稍高level(高于像素的一个稍高的level)，将这个得到的内容作为第二层的feature map

卷积的成功因为它处理的数据（图像、音频、视频）都是有欧式空间结构的 

卷积之所以效果这么好：是因为：Conv能学到一些局部的平稳的结构：通过一些局部化的卷积核

学完之后再将这些学出来的东西（feature map）一层层的堆叠，这样就学习到了层次化的pattern

卷积在图像上的处理，能允许图像具有平移不变性：

比如下图这个猫：不管这只猫移动到哪里，只要卷积核能将这只猫提取出来。那么，就可以认为，该卷积对图像（猫）的提取是"位置无关的"。

在定义这个“卷积”操作时， 希望 卷积 具有 "平移不变"、"旋转不变"(即，图中的猫旋转个30°、45°啥的依旧可以被卷积捕捉到)，"scale不变"(图中的猫原来大小3*3，现在大小5*5，猫还是可以被卷积核捕捉到) ：BUT，实际上，卷积只能做到图像的平移不变性

目前，所有的操作都是在 欧式空间中进行的 ，于是在2015年 LeCun提出了一个问题：能不能将卷积操作推广到非欧式空间中：

【概念】欧式空间： 有欧氏距离定义出来的空间

eg. 在二维空间中 节点a坐标（x1, y1）节点b坐标（x2,y2），那么这两者之间的欧式距离： 

可以这样定义出来的空间是欧式空间

欧式空间有着以下的特性：非负，对称，三角不等式（直递性）

图为什么不是欧式空间：首先图上两个节点之间的距离定义有多种方式：假设我们选择定义两个节点之间距离的方式是最短路径

那么，图上定义的这种定义不满足三角不等式

所以，图是一个非欧式数据。

因此，若将卷及推广到图上，就是完成了卷积在非欧空间上的使用

于是，引出了这个领域 Graph Neural Network ：

首先，要解决：如何将 CNN 扩展至 Graph GNN ：

卷积在格子一样（grid-like）的数据上，如：由各个排列规则的像素组成的图片，是well defined的

但是在不规则的graph上，卷积是比较难定义出来的：

 因此，解决这个问题，核心就是  在不规则数据上，定义卷积算子

【概念】卷积的参数共享含义是：

如下图所示，假设有一个3*3的卷积核，要对一个8*8的图片进行处理。卷积的参数共享就体现在对于黄色荧光区域 和蓝色荧光区域 ，对于中心点 a 和 点 b ，他们获取周围8个邻居的内容所乘以的参数值都是相同的，进一步与理解就是：对于卷积运算，我们认为，无论是8*8图片的哪一点，它的同一方向的邻居对这个中心点有着相同的影响力：即，x对a的影响力与y对b的影响力相同，都等于参数a11

  由于图像为规则的，所以，每个节点就只有8个邻居；而图像，有的节点会有100多个邻居，有的节点只有3个邻居。此时，显然不可能在图上还像在图像上一样，各个方向的邻居对中心点的影响大小参数共享。

00.27.53 我卡在了卷积的理解中，试图通过这几篇知乎博客来理解：

理解完会些在这里：卷积(convolution)为什么叫「卷」积(「convolut」ion)？ - 知乎 (zhihu)

如何通俗易懂地解释卷积？ - 知乎 (zhihu)

有个我感觉就差我临门一脚的理解：如何通俗易懂地解释卷积？ - 1335的回答 - 知乎      ！！巨牛批！！

巨牛，认真看完再联系一下老师讲的，在对应那个骰子问题和水池放水入水问题进行理解