前言

笔者从GPU行业转行，加入AI芯片软件团队正好一年时间。参与了Alibaba NPU（含光800）的架构，软件建模，芯片驱动，框架等多方面的工作。在一年到来之际，特别想针对自己过去一年的工作和学习写一些“思想总结”。正好我们在准备云栖大会的材料，学习了竞争对手的相关文档，萌生了利用一些夜深人静的晚上，写写一些体会。因为相关工作学习时间短，写的这些东西大都很浅显，对内行来说不值一提。文章的价值在于从一个比较全面的角度来分析推理芯片的整个系统，因为笔者先后接触硬件架构，软件栈，以及深度学习框架等，习惯于系统化思考。借此希望能给软件部门，硬件部门，或者研究部门的同事，在某一个不熟悉的方面提供一点有用的信息。

后续，笔者会继续对Goya和含光800做些比较，讨论一些各自的优缺点，以及我们如何从软硬件方面借鉴一些竞争者的好的设计。这就是