微软为主要维护者之一的DirectML PyTorch公开预览版本现在已经发布，该版本添加支持不少热门的Transformer模型，包括GPT2、BERT和Detection Transformers，也就是说，开发者现在可以利用具有GPU加速的PyTorch，来训练常用Transformer模型。微软提到，要使用PyTorch和DirectML训练Transformer模型的开发者，可以先参考GitHub的新范例。
这个新版本的DirectML PyTorch除了支持Transformer模型，同时也包含其他更新，包括改进内存消耗，并且拥有更快的性能，同时也能处理更大批次的工作。
简单来说，DirectML让用户可以利用AMD、英特尔和Nvidia的GPU，在Windows硬件上使用硬件加速，进而提升机器学习训练工作负载速度。带有DirectML的PyTorch版本，支持在DirectX 12兼容的硬件上，执行复杂机器学习模型的训练和推理。
目前最新版本的Windows 10和WSL都支持带有DirectML技术的PyTorch，开发者现在可以下载PyPI组件，并且开始进行Transformer模型应用开发。