TensorFlow 2.4 发布

TensorFlow 2.4 发布。主要更新包括对分布式训练和混合精度的支持，新的 NumPy 前端以及用于监视和诊断瓶颈的工具，此外还涉及性能和扩展方面的增强。

tf.distribute 中的新功能

• 参数服务器策略

在 2.4 中，tf.distribute模块引入了使用 ParameterServerStrategy 对模型进行异步训练的实验支持。以及自定义训练循环。参数服务器训练集群由工作服务器和参数服务器组成。变量在参数服务器上创建，然后在每个步骤中由工作人员读取和更新。变量的读取和更新在整个工作进程中独立发生，而没有任何同步。由于工作进程彼此不依赖，因此该策略具有工作程序容错的优势，并且在使用可抢占式 VM 时很有用。

• Multi Worker Mirrored Strategy

MultiWorkerMirroredStrategy 现在不再处于实验阶段，已经成为稳定 API 的一部分。像它的同类产品MirroredStrategy一样，MultiWorkerMirroredStrategy 通过同步数据并行实现分布式训练，可跨多台机器。

Keras 更新

• 混合精度

Keras 混合精度 API 也已脱离实验性，成为稳定的 API。大多数 TensorFlow 模型使用 float32 dtype; 但是，有些低精度类型（例如 float16）使用的内存更少。混合精度是在同一模型中使用 16 位和 32 位浮点类型以进行更快的训练。该 API 可以将模型性能在 GPU 上提高 3 倍，在 TPU 上提高 60％。

• 优化器

此版本重构tf.keras.optimizers.Optimizer 类，使model.fit或定制训练循环的用户能够编写可与任何优化程序一起使用的训练代码。

其他

• tf.experimental.numpy

TensorFlow 2.4 引入了对 NumPy API 子集的实验性支持，该模块使用户可以运行由 TensorFlow 加速的 NumPy 代码。

• 新的探查工具

TensorFlow Profiler 是可以用来衡量 TensorFlow 模型的训练表现和资源消耗的工具套件，可用来了解模型中操作的硬件资源消耗，诊断瓶颈并进行更快地训练。

更新详情查看：https://blog.tensorflow.org/2020/12/whats-new-in-tensorflow-24.html