这是一个轻量级的样例代码，其中用到的数据集MNIST会在运行时自动下载。 1. 数据并行的类型 Pytorch中提供了两种数据并行的方法，一种是torch.nn.DataParallel，另一种是torch.nn.DistributedDataParallel，简单地说，DataParallel适用于单机多卡的情况，而DistributedDataParallel适用 ...