P1、代码从零开始
1.1 代码部分说明 1.2 为什么要把梯度相加 1.3 运行结果 1.4 torch.clone()简要说明 P2、代码简洁实现
2.1 add_module函数 2.2 pytorch DP & DDP 数据并行 2.3 实验结果 P3 Q&A
3.1 既然XX norm是一种正则，那么原则上它应该能像dropout那样加强模型的泛化能力，就应该能提高模型的测试精度。那为什么说BN只能加快训练而对精度没影响呢？ 3.2 all_reduce，all_gather主要起什么作用啊？实际用的时候发现，pytorch的类似 分布式op不能传到梯度，会破坏计算图，不能自动求导，怎么解决呢？ 3.3 为什么参数量大的模型速度不一定慢？还有一种说法是