到底什么是L2 Norm

到底什么是L2 Norm

最近复现论文有这么一个结构：

池化之后有一个l2-norm。norm是normalization的缩写。Ok，看看这是啥：

标准化？正规化？归一化？…

正确答案

L2归一化：将一组数变成0-1之间。pytorch调用的函数是。文档是这样写的：

对于L2来说，p=2，分母就是 ( x 1 2 + x 2 2 + . . . + x n 2 ) sqrt{( x_1^2 + x_2^2 + ... +x_n^2)} (x12​+x22​+...+xn2​) ​，分子是 x i x_i xi​。所以如果有一个tensor长这样：

20.2 20. 2 2 + 30. 3 2 = 0.5547001962252291 frac{20.2}{sqrt{20.2^2+30.3^2}}=0.5547001962252291 20.22+30.32 ​20.2​=0.5547001962252291
30.3 20. 2 2 + 30. 3 2 = 0.8320502943378437 frac{30.3}{sqrt{20.2^2+30.3^2}}=0.8320502943378437 20.22+30.32 ​30.3​=0.8320502943378437
40.4 40. 4 2 + 50. 5 2 = 0.6246950475544243 frac{40.4}{sqrt{40.4^2+50.5^2}}=0.6246950475544243 40.42+50.52 ​40.4​=0.6246950475544243
50.5 40. 4 2 + 50. 5 2 = 0.7808688094430304 frac{50.5}{sqrt{40.4^2+50.5^2}}=0.7808688094430304 40.42+50.52 ​50.5​=0.7808688094430304
现在我们来验证一下：

嘻嘻，666！