Pluto-基于Caffe的GPU多机多卡深度学习算法产品-低调大师

Pluto-基于Caffe的GPU多机多卡深度学习算法产品

2017-08-14 729

作者

阿里巴巴-计算平台-机器学习团队

同Caffe的关系

完全兼容Caffe。Pluto基于开源库Caffe扩展而来，是Caffe的超集，完全兼容Caffe的配置和数据，使用过Caffe的同学几分钟就能用Pluto跑起多机多卡版程序。
Pluto的单机核心代码同开源社区版本保持同步，所以开源社区提供的一些新特性我们能够迅速merge到Pluto里面

新特性

我们来源于Caffe，但同时根据我们的用户需求我们提供了一些Pluto独有的新特性，帮助用户在模型训练中提高效率。

多机多卡，通过并行计算提高计算和收敛速度。
数据读取提供多lmdb支持。开源版本只能从一个lmdb读取训练数据，Pluto提供支持从多个lmdb按概率（可配置）读取数据，可以更好的支持用户训练数据的增量更新，不会因为训练数据增加而重新制作lmdb文件。
hdf5文件prefetch支持。因为hdf5文件读取时需要全部load进内存的特点，当以hdf5文件作为数据存储格式时数据读取时间同计算时间无法进行overlap。Pluto提供文件级的prefetch支持，通过独立线程在计算时preload下一份hdf5文件，缩短训练时间。
Sequential learning支持。Sequence learning对于语音识别和自然语言处理中存在时序关联的数据进行处理建模拥有天然的优势。Pluto中提供的Sequence learning的相关支持，包括常用的RNN/LSTM以及双向的LSTM，可以高效准确的进行自然场景图片描述（如Image Caption）和自然语言处理中的相关建模任务。
多种同步模式支持。用户可以配置多卡间的同步轮数间隔，默认每轮同步一次；也可以配置按时间同步，即每张卡独立的迭代一段时间后同步一次，适用于资源竞争激烈或快慢机明显的环境。
Sparse 数据格式支持。支持sparse格式的训练数据。

性能分析

实验环境

GPU Device: Tesla K40m with 12GiB display memory, two cards in each box
Network: InfiniBand, GPU direct
cuDNNv2：open

Alexnet在Imagenet数据集上的实验结果

梯度平均
在每轮计算都做一次梯度平均，可以获得同单机一模一样的收敛结果，即acc57.1%，计算和收敛加速比如下:

465acf1d261512a6363b38761bf672f93c9dd3ff

模型平均 每张卡各自计算若干轮后做一次模型平均，会 影响收敛结果 ，但是可以 提高计算加速比 ，结果如下：

76b616edd0f6280e79abcb88ce31a931a76a6c07

收敛曲线

Googlenet在Imagenet数据集上的实验结果：

模型平均

9d310bf062eb392e0543d68ae2c9efac9a434b01

收敛曲线

如何使用

在阿里云机器学习平台PAI上，可以选择Caffe组件使用。
使用文档见： https://help.aliyun.com/document_detail/49571.html?spm=5176.doc42745.6.548.Dd4AFR#Caffe

微信关注我们

原文链接：https://yq.aliyun.com/articles/172733

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

润乾蒋步星 | 非结构化数据分析技术是忽悠

大数据概念兴起的同时也带热了非结构化数据分析。传说一个企业中80%的数据都是非结构化数据，如果按占据空间来算，这个比例大体不假，毕竟音视频这类数据真地很大。有这么大的数据量，需要进行分析是很自然的事了，而要分析当然就要有相应的技术手段了。那为什么说非结构化数据分析技术是忽悠呢？不存在通用的非结构化数据计算技术非结构化数据五花八门，有声音图像、文本网页、办公文档、设备日志、….；每类数据的都有各自的计算处理手段，比如语音识别、图像比对、文本搜索、图结构计算等等，但是并不存在一种适用于所有非结构化数据的通用计算技术。语音识别的方法不能用于图像比对、文本搜索和图结构计算也扯不上关系。一个厂商如果擅长某种技术，那一定会直接宣称自己专业于该领域，而不会泛泛地说自己精于非结构化数据分析。比如人脸识别做得非常精准、或是文本敏感词挖掘的专业公司，

2017-08-15

577

xGoogler和斯坦福商学院的背景，在成立一年多时间里拿到两轮融资，并且A轮高达数千万美金；盖茨在今年访华时特地造访了这里——跟绝大部分窝在咖啡馆和孵化器中的创业团队不同，格灵深瞳俨然是软硬结合创业的优等生。这支盖茨看好的团队长在颐和园北面一座临河的四合院内。格灵深瞳的产品现在是一套将图像识别和人工智能结合的安防系统，但团队的CEO何搏飞在接受宅客君采访时强调他们不是一支简单做安防的团队。给人工智能接上地气 “人工智能”在过去10年内作为一个热词不断穿插在电影和科技媒体的报道中。而在今年的Sync大会上，百度IDL的余凯、出门问问的CEO李志飞和格灵深瞳的CTO赵勇有一段对话，这差不多是国内关于人工智能我们能见到的最佳阵容之一了。宅客君依然记得当时一同列席的源码资本曹毅有这样一段表述（原文大意）：人工智能等的基础技术在过去几

2017-08-16

639

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。