内容导读：近日
  
  
  
  
  
  
  
  
  ，PyTorch 团队在官方博客宣布 Pytorch 1.13 发布                  。本文将详细围绕新版本的 4 大亮点展开介绍
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 。

据官方介绍  
  
  
  
  
  
  
  
  
，PyTorch 1.13 中包括了 BetterTransformer 的稳定版
 


 


 


 


 


 


 


 


 

，且不再支持 CUDA 10.2 及 11.3
 
 
 
 
 
 
 
 
 ，并完成了向 CUDA 11.6 及 11.7 的迁移

















。此外 Beta 版还增加了对 Apple M1 芯片及 functorch 的支持 
  
  
  
  
  
  
  
  
 。

PyTorch 1.13 不可错过的亮点汇总：

BetterTransformer 功能集 (feature set) 支持一般的 Transformer 模型在推理过程中   
   
   
   
   
   
   
   
   
，无需修改模型即可进行 fastpath 执行

此外改进还包括对 Transformer 模型中常用 size 进行加速的 add+matmul 线性代数内核
 

 

 

 

 

 

 

 

 
，现已默认启用嵌套 Tensor
  
  
  
  
  
  
  
  
  。

不再支持旧的 CUDA 版本

 

 

 

 

 

 

 

 

 ，引入 Nvidia 推出的最新 CUDA 版本
 


 


 


 


 


 


 


 


 

。这使得 PyTorch 和新的 NVIDIA Open GPU 内核模块得以支持 C++17  
 
 
 
 
 
 
 
 
。

functorch 从单独软件包变为可直接通过 import functorch 导入 PyTorch 使用                  ，无需再单独安装
   
   
   
   
   
   
   
   
   。

测试为 M1 芯片 Mac 提供本地构建
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，并提供更好的 PyTorch API 支持
 

 

 

 

 

 

 

 

 
。

Stable Features

1. BetterTransformer API

BetterTransformer 功能集 (feature set) 支持一般的 Transformer 模型在推理过程中

















，无需修改模型即可进行 fastpath 执行 

 

 

 

 

 

 

 

 

。

作为补充                           ，PyTorch 1.13 中还针对 Transformer 模型中常用的 size 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，加速了 add+matmul 线性代数内核                  。

为了提升 NLP 模型性能


























，PyTorch 1.13 中的 BetterTransformer 默认启用嵌套 Tensor (Nested Tensor)

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 。 在兼容性方面                  ，执行 mask check 确保能提供连续 mask

















。

Transformer Encoder 中 src_key_padding_mask 的 mask check 可以通过设置 mask_check=False 屏蔽                           。该设置可以加快处理速度  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，而非仅提供对齐的 mask
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 。

最后

















，提供了更好的报错信息
  
  
  
  
  
  
  
  
  ，简化错误输入的诊断  
  
  
  
  
  
  
  
  
，同时为 fastpath execution 错误提供了更佳的诊断方法


























。

Better Transformer 直接集成到 PyTorch TorchText 库中
 


 


 


 


 


 


 


 


 

， 这使得 TorchText 用户能够更轻松地利用 BetterTransformer 的速度及效率性能                  。

2. 引入 CUDA 11.6 和 11.7
 
 
 
 
 
 
 
 
 ，不再支持 CUDA 10.2 和 11.3

CUDA 11 是第一个支持 C++17 的 CUDA 版本   
   
   
   
   
   
   
   
   
，不再支持 CUDA 10.2 是推进 PyTorch 支持 C++17 的重要一步
 

 

 

 

 

 

 

 

 
，还能通过消除遗留的 CUDA 10.2 特定指令

 

 

 

 

 

 

 

 

 ，来改进 PyTorch 代码
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 。

CUDA 11.3 的退出和 11.7 的引入                  ，使得 PyTorch 对 NVIDIA Open GPU 内核模块的兼容性更好
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
， 另一个重要的亮点是对延迟加载 (lazy loading) 的支持

















。

CUDA 11.7 自带 cuDNN 8.5.0

















，包含大量优化                           ，可加速基于 Transformer 的模型 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，库的 size 减少 30%


























，并对 runtime fusion engine 进行了各种改进 
  
  
  
  
  
  
  
  
 。

Beta Features

1. functorch

与 Google JAX 类似                  ，functorch 是 PyTorch 中的一个库  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，提供可组合的 vmap（矢量化）和 autodiff 转换
  
  
  
  
  
  
  
  
  。 它支持高级的 autodiff 用例（在 PyTorch 中难以表达）

















，包括：

模型集成 model ensembling

高效计算 Jacobian 和 Hessians

计算 per-sample-gradients 或其他 per-sample quantities

PyTorch 1.13 内置 functorch 库
  
  
  
  
  
  
  
  
  ，无需单独安装
 


 


 


 


 


 


 


 


 

。通过 conda 或 pip 安装 PyTorch 后  
  
  
  
  
  
  
  
  
，就可以在程序中 import functorch 了 
 
 
 
 
 
 
 
 
。

2. 集成英特尔 VTune™ Profiler 及 ITT

PyTorch 用户如果希望在英特尔平台上用底层性能指标来分析每个算子的性能时
 


 


 


 


 


 


 


 


 

，可以在英特尔 VTune™ Profiler 中可视化 PyTorch 脚本执行的算子级 timeline
   
   
   
   
   
   
   
   
   。

with torch.autograd.profiler.emit_itt(): for i in range(10): torch.itt.range_push(step_{}.format(i)) model(input) torch.itt.range_pop()

3. NNC：增加 BF16 和 Channels last 支持

通过在 NNC 中增加 Channels last 和 BF16 的支持
 
 
 
 
 
 
 
 
 ，TorchScript 在 x86 CPU 上的 graph-mode 推理性能得到了显著提升
 

 

 

 

 

 

 

 

 
。

在英特尔 Cooper Lake 处理器上   
   
   
   
   
   
   
   
   
，通过这两项优化
 

 

 

 

 

 

 

 

 
，可以使得视觉模型性能达到 2 倍以上的提升 

 

 

 

 

 

 

 

 

。

通过现有的 TorchScript
  
  
  
  
  
  
  
  
  、Channels last 以及 BF16 Autocast API

 

 

 

 

 

 

 

 

 ， 可以实现性能提升                  。如下所示                  ，NNC 中的优化将迁移到新的 PyTorch DL Compiler TorchInductor 中：

import torch import torchvision.models as models model = models.resnet50(pretrained=True) # Convert the model to channels-last model = model.to(memory_format=torch.channels_last) model.eval() data = torch.rand(1, 3, 224, 224) # Convert the data to channels-lastdata = data.to(memory_format=torch.channels_last) # Enable autocast to run with BF16 with torch.cpu.amp.autocast(), torch.no_grad(): # Trace the model model = torch.jit.trace(model, torch.rand(1, 3, 224, 224)) model = torch.jit.freeze(model) # Run the traced model model(data)

4. 增加对 M1 芯片苹果设备的支持

自 1.12 版本以来
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，PyTorch 一直致力于为苹果 M1 芯片提供原生构建

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 。PyTorch 1.13 进一步改进了相关 API

















。

PyTorch 1.13 在 M1 macOS 12.6 实例上进行了除 torch.distribution 之外的所有子模块测试                           。这些改进后的测试

















，可以修复 cpp 扩展以及某些输入的 convolution correctnes 等功能
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 。

注意：该功能要求 M1 芯片的 macOS 12 或更高版本                           ，并使用原生 Python (arm64) 


























。

Prototype Features

1. 针对 AWS Graviton 的 ACL 后端支持

PyTorch 1.13 通过 Arm Compute Library (ACL) 在 aarch64 CPU 上实现了 CV 和 NLP 推理的实质性提升 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
， 这使得 ACL 后端得以支持 PyTorch 及 torch-xla 模块                  。亮点包括：

启用 mkldnn+acl 作为 aarch64 torch wheel 的默认后端

为 arch64 BF16 设备启用 mkldnn matmul operator

将 TensorFlow xla+acl 功能引入 torch-xla
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 。

2. CUDA Sanitizer

启用后


























，Sanitizer 将开始分析因用户的 PyTorch 代码而调用的底层 CUDA operation                  ，以检测数据争用报错 (data race error)

















。

注：这些报错是由源自不同 CUDA Stream 的不同步数据访问而导致的 
  
  
  
  
  
  
  
  
 。

与 Thread Sanitizer 类似  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，定位到的报错会与错误访问的堆栈 trace 一起打印出来
  
  
  
  
  
  
  
  
  。

机器学习应用中损坏的数据很容易被忽略

















，报错有时候也并不显现
  
  
  
  
  
  
  
  
  ，因此用于检测并定位错误的 CUDA Sanitizer 就格外重要了
 


 


 


 


 


 


 


 


 

。

3. 部分支持 Python 3.11

用户可通过 pip 下载支持 Python 3.11 的 Linux 二进制文件 
 
 
 
 
 
 
 
 
。不过这个功能只是一个 preview 版  
  
  
  
  
  
  
  
  
，Distributed  
  
  
  
  
  
  
  
  
、Profiler
 


 


 


 


 


 


 


 


 

、FX 和 JIT 等功能并未完全支持
   
   
   
   
   
   
   
   
   。

从 0 到 1
 


 


 


 


 


 


 


 


 

，学习 PyTorch 官方教程

OpenBayes.com 现已上线多个中文 PyTorch 官方教程
 
 
 
 
 
 
 
 
 ，包括但不限于 NLP   
   
   
   
   
   
   
   
   
，CV
 

 

 

 

 

 

 

 

 
，DL 等多个实例

 

 

 

 

 

 

 

 

 ，您可以访问控制台                  ，在公开资源中搜索查看
 

 

 

 

 

 

 

 

 
。

运行 PyTorch 中文教程
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，点击文末阅读原文

















，或访问以下链接：

https://openbayes.com/console/public/tutorials