为什么说ReLU是非线性激活函数

为什么说ReLU是非线性激活函数

线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。它的图像如下所示：

 一直不明白为什么说ReLU函数是非线性激活函数，因为看起来就是一个线性的函数，今天查了一下，虽然仍然不是很明白，但是比以前要有深一点的理解主要是参考了一下连接：

relu函数为分段线性函数，为什么会增加非线性元素 - 滴答-sou - 博客园 (cnblogs)

ReLU激活函数：简单之美_对半独白-CSDN博客_relu函数

relu是分段线性函数_一路向北-CSDN博客_relu函数是线性的吗

还有知乎上面一个用户的回答：

relu的两个分段函数，分段来看，确实是线性，组合在一起，整体却不是线性的。之前从国外的一个博客看到的解释，一时找不到链接，幸好保存了几张截图，大概说明下：线性在二维空间中的定义是一条直线能够将平面空间划分，如下图所示：

当加了一个relu之后：

当几个ReLU函数组合到一起的时候，就变成非线性的：

       我认为还是取决于输入 如果输入导致后面的输入大部分都是正的 哪relu可能就会表现出线性，但只要有负的，传递过程就会变得非线性 而且负的越多 非线性程度就越大（所以浅层的一般不用relu） 正因为出现负的这种可能性 relu才表现出他的非线性功能。