微软强化Azure对超大型机器学习模型训练的支持度，现在用户可以使用深度学习函数库DeepSpeed和1024个A100 GPU，来执行兆级参数模型的训练。
近年基于Transformer的大规模深度学习技术，有了长足的进展，在5年之间，从最初只有数百万参数的Transformer模型，到现在Megatron-Turing已具有5,300亿个参数，这之间模型参数量增长了数个量级，而企业对于训练和调校这些大型模型的需求也逐渐增长。
过去用户要训练这类大规模模型，需要配置和维护一个复杂的分布式训练基础设施，微软提到，这些工作通常有一些手动步骤且容易出错，因此在可用性和性能表现上并不佳。
而现在微软用户可以使用Azure上的DeepSpeed，来应对大规模人工智能训练。用户可以使用推荐的Azure机器学习配置，或是利用Bash脚本以虚拟机扩展集为基础的环境执行。DeepSpeed是微软在2020年发布的开源深度学习训练优化函数库，该函示库使用内存优化技术ZeRO，改善大型模型训练的规模、速度、成本和可用性。
微软采用全端优化的方式，将所有训练必要的硬件、操作系统、虚拟机镜像文件，还有包含PyTorch、DeepSpeed、ONNX Runtime，与各种Python组件的Docker镜像文件，以及Azure机器学习API，经过优化、集成和测试，使其具有良好的性能和可扩展性，并且让用户不需要处理其复杂性。
在经优化的Azure DeepSpeed堆栈上，用户可以训练1兆甚至是2兆参数的超大型模型，而且无论是模型的大小和GPU数量的增加，都提供了几乎线性的可扩展性，微软提到，Azure和DeepSpeed打破GPU内存的限制，使得用户可以更简单地训练兆级参数模型。