脑芯编:分手?摆脱冯诺依曼的深度学习硬件
不知不觉,《脑芯编》已经走过了上半阙。默默挥手告别那些弃剧的看官,也由衷感谢仍然愿意用手指点进来的您。你们是撑住脑芯编不烂尾的重要力量,与其肉麻,不如再念一遍诗的上半阙:
昨夜神风送层云,(神经元与网络)
几重卷积几重生。(卷积神经网络)
梦里不知形与令,(计算体系结构)
烛台簇华照单影。(单指令多数据)
上次我们讲到,现行的计算机体系结构——“冯诺依曼”结构是阻碍深度学习神经网络的一个重要瓶颈。其计算和存储分离的特点,使得神经元计算的效率低下。合理改变指令集,加入乘累加指令和SIMD(单指令多数据)指令可以缓解该问题,但仍然指标不治本。
此时,革“冯诺依曼”的命变成了很多懵逼骚年(讲的是心态,年纪可是很大哦)的选项。非冯架构的深度学习硬件一时间成为了洛阳纸贵的一时之选。这个过程自然有资本主义的糖衣炮弹加持,美国国防部先进项目研究局(传说中的