1.介紹
當(dāng)我們使用pytorch來構(gòu)建網(wǎng)絡(luò)框架的時(shí)候，也會遇到和tensorflow（tensorflow __init__、build 和call小結(jié)）類似的情況，即經(jīng)常會遇到__init__、forward和call這三個(gè)互相搭配著使用，那么它們的主要區(qū)別又在哪里呢？
1）__init__主要用來做參數(shù)初始化用，比如我們要初始化卷積的一些參數(shù)，就可以放到這里面，這點(diǎn)和tf里面的用法是一樣的
2）forward是表示一個(gè)前向傳播，構(gòu)建網(wǎng)絡(luò)層的先后運(yùn)算步驟
3）__call__的功能其實(shí)和forward類似，所以很多時(shí)候，我們構(gòu)建網(wǎng)絡(luò)的時(shí)候，可以用__call__替代forward函數(shù)，但它們兩個(gè)的區(qū)別又在哪里呢？
當(dāng)網(wǎng)絡(luò)構(gòu)建完之后，調(diào)__call__的時(shí)候，會去先調(diào)forward，即__call__其實(shí)是包了一層forward，所以會導(dǎo)致兩者的功能類似。
在pytorch在nn.Module中，實(shí)現(xiàn)了__call__方法，而在__call__方法中調(diào)用了forward函數(shù)：
https://github.com/pytorch/pytorch/blob/master/torch/nn/modules/module.py
2.代碼
import torch
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self, in_channels, mid_channels, out_channels):
super(Net, self).__init__()
self.conv0 = torch.nn.Sequential(
torch.nn.Conv2d(in_channels, mid_channels, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)),
torch.nn.LeakyReLU())
self.conv1 = torch.nn.Sequential(
torch.nn.Conv2d(mid_channels, out_channels * 2, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)))
def forward(self, x):
x = self.conv0(x)
x = self.conv1(x)
return x
class Net(nn.Module):
def __init__(self, in_channels, mid_channels, out_channels):
super(Net, self).__init__()
self.conv0 = torch.nn.Sequential(
torch.nn.Conv2d(in_channels, mid_channels, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)),
torch.nn.LeakyReLU())
self.conv1 = torch.nn.Sequential(
torch.nn.Conv2d(mid_channels, out_channels * 2, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)))
def __call__(self, x):
x = self.conv0(x)
x = self.conv1(x)
return x
補(bǔ)充：torch/nn目錄結(jié)構(gòu)以及__init__.py
torch/nn目錄結(jié)構(gòu)以及init.py
torch/nn目錄結(jié)構(gòu)
__init__.py：
from .modules import *
#nn.modules 導(dǎo)入modules目錄下內(nèi)容 定義容器modules
from .parameter import Parameter
#nn.Parameter 導(dǎo)入parameter.py 定義parameter
from .parallel import DataParallel
#導(dǎo)入parallel目錄下data_parallel.py中的DataParallel類
from . import init
#nn.init 導(dǎo)入init.py 參數(shù)初始化
from . import utils
#nn.utils 導(dǎo)入utils目錄下內(nèi)容 官網(wǎng)api下nn.utils下api
對于backends, functional.py, _functions 需要在代碼前重新Import
例如我們常用的
import torch.nn.functional as F 就是導(dǎo)入了functional.py
backends和_functions是functional.py實(shí)現(xiàn)各種函數(shù)時(shí)所用到的。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
您可能感興趣的文章:- 基于tensorflow __init__、build 和call的使用小結(jié)
- 淺談python中的__init__、__new__和__call__方法
- 詳解Python中的__new__、__init__、__call__三個(gè)特殊方法
- python中的__init__ 、__new__、__call__小結(jié)
