NEC新技术带来比Apach Spark快50倍的机器学习能力
日本计算机巨头NEC宣布,已经开发出一种新的数据处理技术,能加快向量计算机的机器学习速度。这种技术比当前主流的Apache Spark大数据框架快50倍。
NEC表示,新技术利用了一种叫作“稀疏矩阵”的数据结构,能明显提高机器学习任务中向量计算机的性能。
向量计算机是一种主要用于处理大型科学和工程计算的超级计算机。
上世纪70至90年代,向量计算机架构在超级计算机的发展中占据主导地位。当时,这种架构被用于Cray的大部分平台。然而,由于传统微处理器设计带来的强大性能,这种架构逐渐变得不太常见。然而近年来,随着NEC SX系列超级计算机的开发,向量计算机架构正获得新的生命。
NEC表示,与数据处理技术一同,该公司还开发了新的中间件,通过稀疏矩阵结构去简化机器学习应用。该公司表示,这种中间件可以从Pyt