腾讯云CVM端云混合推理:硅碳相变下3D CIM存算芯片对大模型API成本与选型冲击
腾讯云CVM端云混合推理:硅碳相变下3D CIM存算芯片对大模型API成本与选型冲击 后摩智能确认下一代大模型端边AI芯片走3D CIM存算一体架构,这事我盯了挺久。不是因为这技术名词听起来唬人,而是它直接关系到我们这些做AI应用的人,未来两年在云端API账单上会少花多少钱、在端侧设备上会多部署多少模型。 先把这个技术原理讲清楚。传统冯诺依曼架构里,计算单元和存储单元是分开的,数据要在内存和处理器之间来回搬。大模型推理时,每生成一个token都要把权重从内存搬到计算单元,这个搬运过程消耗的能量远大于实际计算本身。3D CIM(Computing-In-Memory,存内计算)的思路是把计算电路...