谷歌推出Tangent开源库,在Python源代码上做自动微分
谷歌今天推出了一个新的开源Python自动微分库:Tangent。
和现有的机器学习库不同,Tangent是一个源代码到源代码的系统,使用Python函数f,并用一个新的Python函数来计算f的梯度。这能帮用户更好地看清梯度计算,并更简单地对梯度进行用户级编辑和调试。
此外,Tangent还有更多调试和设计机器学习模型的功能:
- 轻松调试反向传递过程(backward pass)
- 快速的gradient surgery
- 正向模式自动微分
- 高校的Hessian向量积
- 代码优化
本文简要介绍了Tangent API,包括如何用它在Python中生成易于理解、调试和修改的梯度代码。
神经网络为机器学习带来了巨大的进步,而我们训练神经网络来完成各类任务的基本思想已经存在30年了,它就是反向模式自动微分(reverse
