Pluto-基于Caffe的GPU多机多卡深度学习算法产品-低调大师

Pluto-基于Caffe的GPU多机多卡深度学习算法产品

2017-08-14 755

作者

阿里巴巴-计算平台-机器学习团队

同Caffe的关系

完全兼容Caffe。Pluto基于开源库Caffe扩展而来，是Caffe的超集，完全兼容Caffe的配置和数据，使用过Caffe的同学几分钟就能用Pluto跑起多机多卡版程序。
Pluto的单机核心代码同开源社区版本保持同步，所以开源社区提供的一些新特性我们能够迅速merge到Pluto里面

新特性

我们来源于Caffe，但同时根据我们的用户需求我们提供了一些Pluto独有的新特性，帮助用户在模型训练中提高效率。

多机多卡，通过并行计算提高计算和收敛速度。
数据读取提供多lmdb支持。开源版本只能从一个lmdb读取训练数据，Pluto提供支持从多个lmdb按概率（可配置）读取数据，可以更好的支持用户训练数据的增量更新，不会因为训练数据增加而重新制作lmdb文件。
hdf5文件prefetch支持。因为hdf5文件读取时需要全部load进内存的特点，当以hdf5文件作为数据存储格式时数据读取时间同计算时间无法进行overlap。Pluto提供文件级的prefetch支持，通过独立线程在计算时preload下一份hdf5文件，缩短训练时间。
Sequential learning支持。Sequence learning对于语音识别和自然语言处理中存在时序关联的数据进行处理建模拥有天然的优势。Pluto中提供的Sequence learning的相关支持，包括常用的RNN/LSTM以及双向的LSTM，可以高效准确的进行自然场景图片描述（如Image Caption）和自然语言处理中的相关建模任务。
多种同步模式支持。用户可以配置多卡间的同步轮数间隔，默认每轮同步一次；也可以配置按时间同步，即每张卡独立的迭代一段时间后同步一次，适用于资源竞争激烈或快慢机明显的环境。
Sparse 数据格式支持。支持sparse格式的训练数据。

性能分析

实验环境

GPU Device: Tesla K40m with 12GiB display memory, two cards in each box
Network: InfiniBand, GPU direct
cuDNNv2：open

Alexnet在Imagenet数据集上的实验结果

梯度平均
在每轮计算都做一次梯度平均，可以获得同单机一模一样的收敛结果，即acc57.1%，计算和收敛加速比如下:

465acf1d261512a6363b38761bf672f93c9dd3ff

模型平均 每张卡各自计算若干轮后做一次模型平均，会 影响收敛结果 ，但是可以 提高计算加速比 ，结果如下：

76b616edd0f6280e79abcb88ce31a931a76a6c07

收敛曲线

Googlenet在Imagenet数据集上的实验结果：

模型平均

9d310bf062eb392e0543d68ae2c9efac9a434b01

收敛曲线

如何使用

在阿里云机器学习平台PAI上，可以选择Caffe组件使用。
使用文档见： https://help.aliyun.com/document_detail/49571.html?spm=5176.doc42745.6.548.Dd4AFR#Caffe

微信关注我们

原文链接：https://yq.aliyun.com/articles/172733

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

润乾蒋步星 | 非结构化数据分析技术是忽悠

大数据概念兴起的同时也带热了非结构化数据分析。传说一个企业中80%的数据都是非结构化数据，如果按占据空间来算，这个比例大体不假，毕竟音视频这类数据真地很大。有这么大的数据量，需要进行分析是很自然的事了，而要分析当然就要有相应的技术手段了。那为什么说非结构化数据分析技术是忽悠呢？不存在通用的非结构化数据计算技术非结构化数据五花八门，有声音图像、文本网页、办公文档、设备日志、….；每类数据的都有各自的计算处理手段，比如语音识别、图像比对、文本搜索、图结构计算等等，但是并不存在一种适用于所有非结构化数据的通用计算技术。语音识别的方法不能用于图像比对、文本搜索和图结构计算也扯不上关系。一个厂商如果擅长某种技术，那一定会直接宣称自己专业于该领域，而不会泛泛地说自己精于非结构化数据分析。比如人脸识别做得非常精准、或是文本敏感词挖掘的专业公司，

2017-08-15

590

xGoogler和斯坦福商学院的背景，在成立一年多时间里拿到两轮融资，并且A轮高达数千万美金；盖茨在今年访华时特地造访了这里——跟绝大部分窝在咖啡馆和孵化器中的创业团队不同，格灵深瞳俨然是软硬结合创业的优等生。这支盖茨看好的团队长在颐和园北面一座临河的四合院内。格灵深瞳的产品现在是一套将图像识别和人工智能结合的安防系统，但团队的CEO何搏飞在接受宅客君采访时强调他们不是一支简单做安防的团队。给人工智能接上地气 “人工智能”在过去10年内作为一个热词不断穿插在电影和科技媒体的报道中。而在今年的Sync大会上，百度IDL的余凯、出门问问的CEO李志飞和格灵深瞳的CTO赵勇有一段对话，这差不多是国内关于人工智能我们能见到的最佳阵容之一了。宅客君依然记得当时一同列席的源码资本曹毅有这样一段表述（原文大意）：人工智能等的基础技术在过去几

2017-08-16

654

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。