Sockeye 3.0.7 发布,快速、可扩展的深度学习库
Sockeye是一个基于ApacheMXNet的快速而可扩展的深度学习库。Sockeye代码库具有来自MXNet的独特优势。例如,通过符号式和命令式MXNetAPI,Sockeye结合了陈述式和命令式编程风格;可以在多块 GPU 上并行训练模型。 目前 Sockeye 更新到 3.0.7 版本,改进了训练速度,内容如下: [3.0.7] 在训练期间使用torch.nn.functional.multi_head_attention_forward的自注意力和编码器注意力来提高训练速度。 需要重新组织键值输入投影的参数布局,因为当前的 Sockeye 注意力会交错以进行更快的推理。注意掩码(源掩码和自回归掩码都需要一些形状调整,因为对融合 MHA 操作的要求略有不同)。 联合键值输入投影参数的非交错格式: in_features=hidden, out_features=2*hidden -> Shape: (2*hidden, hidden) 联合键值输入投影的交错格式存储键和值参数,按头部分组: Shape: ((num_heads * 2 * hidden_per_head)...