TensorFlow 2.4 发布
TensorFlow 2.4 发布。主要更新包括对分布式训练和混合精度的支持,新的 NumPy 前端以及用于监视和诊断瓶颈的工具,此外还涉及性能和扩展方面的增强。 tf.distribute 中的新功能 参数服务器策略 在 2.4 中,tf.distribute模块引入了使用ParameterServerStrategy对模型进行异步训练的实验支持。以及自定义训练循环。参数服务器训练集群由工作服务器和参数服务器组成。变量在参数服务器上创建,然后在每个步骤中由工作人员读取和更新。变量的读取和更新在整个工作进程中独立发生,而没有任何同步。由于工作进程彼此不依赖,因此该策略具有工作程序容错的优势,并且在使用可抢占式 VM 时很有用。 Multi Worker Mirrored Strategy MultiWorkerMirroredStrategy现在不再处于实验阶段,已经成为稳定 API 的一部分。像它的同类产品MirroredStrategy一样,MultiWorkerMirroredStrategy通过同步数据并行实现分布式训练,可跨多台机器。 Keras 更新 混合精度 Keras ...