torch.nn.Parameter

基本介绍

torch.nn.Parameter是继承自torch.Tensor的子类  
    
    
  ，其主要作用是作为nn.Module中的可训练参数使用  
    
    
  。它与torch.Tensor的区别就是nn.Parameter会自动被认为是module的可训练参数

     


     


     
，即加入到parameter()这个迭代器中去

     


     


     
。

具体格式如下：

torch.nn.parameter.Parameter(data=None, requires_grad=True)

其中 data 为待传入的 Tensor 




 




 




，requires_grad 默认为 True 




 




 




。

事实上  

   

   

 ，torch.nn 中提供的模块中的参数均是 nn.Parameter 类

     

     

     ，例如：

module = nn.Linear(3, 3) type(module.weight) # torch.nn.parameter.Parameter type(module.bias) # torch.nn.parameter.Parameter

参数构造

nn.Parameter可以看作是一个类型转换函数  




  




  




，将一个不可训练的类型 Tensor 转换成可以训练的类型 parameter   


  


  


，并将这个 parameter 绑定到这个module 里面nn.Parameter()添加的参数会被添加到Parameters列表中
     
     
     ，会被送入优化器中随训练一起学习更新

此时调用 parameters()方法会显示参数  

   

   

 。读者可自行体会以下两端代码：

""" 代码片段一 """ class Net(nn.Module): def __init__(self): super().__init__() self.weight = torch.randn(3, 3) self.bias = torch.randn(3) def forward(self, inputs): pass net = Net() print(list(net.parameters())) # [] """ 代码片段二 """ class Net(nn.Module): def __init__(self): super().__init__() self.weight = **nn.Parameter**(torch.randn(3, 3)) # 将tensor转换成parameter类型 self.bias = **nn.Parameter**(torch.randn(3)) def forward(self, inputs): pass net = Net() print(list(**net.parameters()**)) # 显示参数 # [Parameter containing: # tensor([[-0.4584, 0.3815, -0.4522], # [ 2.1236, 0.7928, -0.7095], # [-1.4921, -0.5689, -0.2342]], requires_grad=True), Parameter containing: # tensor([-0.6971, -0.7651, 0.7897], requires_grad=True)]

nn.Parameter相当于把传入的数据包装成一个参数
   




   




   



，如果要直接访问/使用其中的数据而非参数本身 



 



 



，可对 nn.Parameter对象调用 data属性：

a = torch.tensor([1, 2, 3]).to(torch.float32) param = nn.Parameter(a) print(param) # Parameter containing: # tensor([1., 2., 3.], requires_grad=True) print(param.data) # tensor([1., 2., 3.])

参数访问

nn.Module 中有 **state_dict()** 方法               ，该方法将以字典形式返回模块的所有状态

    




    




    


，包括模块的参数和 persistent buffers 














，字典的键就是对应的参数/缓冲区的名称

     

     

     。

由于所有模块都继承 nn.Module               ，因此我们可以对任意的模块调用 state_dict() 方法以查看状态：

linear_layer = nn.Linear(2, 2) print(linear_layer.state_dict()) # OrderedDict([(weight, tensor([[ 0.2602, -0.2318], # [-0.5192, 0.0130]])), (bias, tensor([0.5890, 0.2476]))]) print(linear_layer.state_dict().keys()) # odict_keys([weight, bias])

对于线性层

     



     



     

，除了 state_dict()之外














，我们还可以对其直接调用相应的属性  
    
    
  ，如下：

linear_layer = nn.Linear(2, 1) print(linear_layer.weight) # Parameter containing: # tensor([[-0.1990, 0.3394]], requires_grad=True) print(linear_layer.bias) # Parameter containing: # tensor([0.2697], requires_grad=True)

需要注意的是以上返回的均为参数对象

     


     


     
，如需使用其中的数据 




 




 




，可调用 data

属性  




  




  




。

参数初始化

使用内置初始化

对于下面的单隐层网络  

   

   

 ，我们想对其中的两个线性层应用内置初始化器

class Net(nn.Module): def __init__(self): super().__init__() self.layers = nn.Sequential( nn.Linear(3, 2), nn.ReLU(), nn.Linear(2, 3), ) def forward(self, X): return self.layers(X)

假设权重从 N(0,1) 中采样

     

     

     ，偏置全部初始化为 0  




  




  




，则初始化代码如下:

def init_normal(module): # 需要判断子模块是否为nn.Linear类  


  


  


，因为激活函数没有参数 if type(module) == nn.Linear: nn.init.normal_(module.weight, mean=0, std=1) nn.init.zeros_(module.bias) net = Net() net.apply(init_normal) for param in net.parameters(): print(param) # Parameter containing: # tensor([[-0.3560, 0.8078, -2.4084], # [ 0.1700, -0.3217, -1.3320]], requires_grad=True) # Parameter containing: # tensor([0., 0.], requires_grad=True) # Parameter containing: # tensor([[-0.8025, -1.0695], # [-1.7031, -0.3068], # [-0.3499, 0.4263]], requires_grad=True) # Parameter containing: # tensor([0., 0., 0.], requires_grad=True)

对 net调用 apply方法则会递归地对其下所有的子模块应用 init_normal函数  


  


  


。

自定义初始化

如果我们想要自定义初始化
     
     
     ，例如使用以下的分布来初始化网络的权重：

def my_init(module): if type(module) == nn.Linear: nn.init.uniform_(module.weight, -10, 10) mask = module.weight.data.abs() >= 5 module.weight.data *= mask net = Net() net.apply(my_init) for param in net.parameters(): print(param) # Parameter containing: # tensor([[-0.0000, -5.9610, 8.0000], # [-0.0000, -0.0000, 7.6041]], requires_grad=True) # Parameter containing: # tensor([ 0.4058, -0.2891], requires_grad=True) # Parameter containing: # tensor([[ 0.0000, -0.0000], # [-6.9569, -9.5102], # [-9.0270, -0.0000]], requires_grad=True) # Parameter containing: # tensor([ 0.2521, -0.1500, -0.1484], requires_grad=True)

参数绑定

对于一个三隐层网络：

net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 8), nn.ReLU(), nn.Linear(8, 8), nn.ReLU(), nn.Linear(8, 1))

如果我们想让第二个隐层和第三个隐层共享参数
   




   




   



，则可以这样做：

shared = nn.Linear(8, 8) net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), shared, nn.ReLU(), shared, nn.ReLU(), nn.Linear(8, 1))

参考

PyTorch学习笔记（六）–Sequential类  
    
    
  、参数管理与GPU_Lareges的博客-CSDN博客_sequential类

torch.nn 中文文档

Python的torch.nn.Parameter初始化方法_昊大侠的博客-CSDN博客_torch.nn.parameter初始化