一               、深度学习里面的element-wise特征相乘和相加到底有什么区别？

很多深度学习模型在设计时 
  
  
  
  
  
  
 ，中间特征在分支处理后 
  
  
  
  
  
  
  ，然后可能会采用element-wise相乘或相加

 


 


 


 


 


 


 

，不知道这个乘和加的细微区别？

答：相加的两个tensor通常都是具有特征意义的tensor 
 
 
 
 
 
 
，相乘的话 
   
   
   
   
   
   
   ，一般来说
 

 

 

 

 

 

 
，其中一个tensor是有类似权重的含义
 

 

 

 

 

 

 

，而不是特征意义               。

二
 
  
 
  
 
  
 
  
 
  
 
  
 
  
、concatenation operation

向量之间的拼接

代码例子如下：

import numpy as np a = np.array([[1, 2], [3, 4]]) print(a.shape) b = np.array([[5, 6]]) print(b.shape) np.concatenate((a, b)) c= np.concatenate((a, b)) print(c) print(c.shape) Out[1]: (2, 2) Out[2]: (1, 2) Out[3]: array([[1, 2], [3, 4], [5, 6]]) Out[4]: (3, 2)

三













、Dot Product

向量点积

import numpy as np np1 = np.array([4, 6]) np2 = np.array([[-3], [7]]) print(np.dot(np1, np2) ##  [30] # 4*-3 + 6*7 = 42*12 = 30

四  
  
  
  
  
  
  
 、element-wise product

element-wise product实际上是两个同样维度的向量/矩阵每一个元素分别相乘

这个可以参见：我的另一篇文章

import numpy as np np1 = np.array([4, 6]) np2 = np.array([-3, 7]) print(np2 * np1) # [-12 42] import numpy as np np1 = np.array([4, 6]) print(np1 * 3) # [12 18]

五 
  
  
  
  
  
  
 、DL中              ，何时用concatenate/elementwise乘法/elementwise加法呢?

深度学习中 

 
 

 
 

 
 

 
 

 
 

 
 

 
 ，信息相互融合的时候














，什么时候用concatenate                     ，什么时候用elementwise乘法呢 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，什么时候又用elementwise加法呢？

答：

点乘其实是gate的形式 可能会损失性能
 
  
 
  
 
  
 
  
 
  
 
  
 
  
。concatenate则是简单拼接





















，要网络自己学习变换













。

实际过程中可能只能试  
  
  
  
  
  
  
 。

六


 


 


 


 


 


 


 
、feature map的几种连接形式

（1）concatenate：通道合并              ，每个通道对应着对应的卷积

（2）element-wise addition（计算量比（1）小）：将对应的特征图相加 
  
 
  
 
  
 
  
 
  
 
  
 
  
 ，然后卷积 
  
  
  
  
  
  
 。对应通道的特征图语义类似














，对应的特征图共享一个卷积核


 


 


 


 


 


 


 
。

对比：

add方式：add的特征结合方式使得描述图像的特征下的信息量增多了 
  
  
  
  
  
  
 ，但是描述图像的维度本身并没有增加 
  
  
  
  
  
  
  ，只是每一维下的信息量在增加

 


 


 


 


 


 


 

，这显然是对最终的图像的分类是有益的 
 
 
 
 
 
 
。

concatenate方式：该方式是通道数的合并 
 
 
 
 
 
 
，也就是说描述图像本身的特征数（通道数）增加了 
   
   
   
   
   
   
   ，而每一特征下的信息是没有增加的  
   
   
   
   
   
   
  。

显然
 

 

 

 

 

 

 
，concatenate的计算量 > add的计算量

另：还有element-wise max和element-wise average方式

实验结果：max>avg>concate

七 
 
 
 
 
 
 
、总结

通过add操作会得到新的特征
 

 

 

 

 

 

 

，这个新的特征可以反映原始特征的一些特性              ，但是原始特征的一些信息也会由于add方式造成损失 

 
 

 
 

 
 

 
 

 
 

 
 

 
 ，但是concatenate就是将原始特征直接拼接














，让网络去学习应该如何融合特征                     ，这个过程中信息不会损失

 

 

 

 

 

 

 
。

concat带来的计算量较大 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，在明确原始特征的关系可以使用add操作融合的话





















，使用add操作可以节省计算代价!

参考：

深度学习中---merger层  
   
   
   
   
   
   
  、concatenate层

 

 

 

 

 

 

 
、add层的区别_夜幕下的光123的博客-CSDN博客_concatenate层

Pytorch教程（十五）：element-wise
 

 

 

 

 

 

 
、Broadcasting_vincent_duan的博客-CSDN博客_element-wise