最牛逼的开源机器学习框架,你知道几个-低调大师

最牛逼的开源机器学习框架,你知道几个

2017-08-31 666

文章讲的是 最牛逼的开源机器学习框架,你知道几个，机器学习毫无疑问是当今最热的话题，它已经渗透到生活的方方面面，在移动互联网中混不懂点机器学习都不好意思，说几个能看的到的，经常用邮箱吧，是不是感觉垃圾邮件比N年前变少了，无聊了和siri聊过天不，想坐一下无人驾驶汽车吗，手累了用脸解个锁，智能化产品推荐是不是让你更懒了。看不到的就更多了：信用卡欺诈监测保证你的交易安全，股票交易/量化投资(知道你的高收益理财怎么来的吗?)，手势识别(用过海豚浏览器的手势吗)，还有医学分析等等，巨头们为了在未来占领先机，前仆后继的开源他们的机器学习框架，加速了人类进入智能时代的步伐(说什么，机器人 ?)

　　Facebook：用于Torch的模块库fbcunn (2015-01-17 开源)

　　fbcunn可以替代Torch的默认模块，它们构建在Nvidia的cuFFT库(一个基于CUDA的库，用于深度神经网络)之上，可以在更短的时间内训练更大规模的神经网络模型，它对NVIDIA的GPU进行了优化。一部分可以用来训练大型计算机视觉系统。部分模块也可以用来训练处理不同类型数据的模型。既可以进行文本识别、图像识别，也能用于语言模型的训练。部分模块将大型卷积神经网络模型的训练速度提升了23.5倍。

　　fbcunn基于Fast Training of Convolutional Networks through FFTs这篇论文中的想法构建了这些模块，FAIR(Facebook人工智能实验室)的主任Yann LeCun是论文的合著者之一。与cuDNN相比，在卷积核较小的情况下(3x3)，fbcunn的速度提升可达1.84倍;而在卷积核较大的情况下(5x5)，速度提升可达23.5倍。

　　Torch和fbcunn的最早的用途之一：图片分类，它分类过ImageNet的120万张图片，可以参考这个地址：https://github.com/soumith/imagenet-multiGPU.torch

　　参考：

http://torch.ch
https://github.com/torch/
https://github.com/facebook/fbcunn
https://research.facebook.com/blog/879898285375829/fair-open-sources-deep-learning-modules-for-torch/

　　微软：DMTK(2015-11-16 开源)

　　DMTK由参数服务器和客户端SDK两部分构成。参数服务器支持存储混合数据结构模型、接受并聚合工作节点服务器的数据模型更新、控制模型同步逻辑;客户端SDK负责维护节点模型缓存(与全局模型服务器同步)、本地训练和模型通讯之间的流水线控制以及片状调度大模型训练。它包含DMTK框架、LightLDA和分布式词向量(Word Embedding)三个组件。

　　DMTK采用了传统的客户端/服务器架构，有多个服务器实例运行在多台机器上负责维护全局模型参数，而训练例程(routines)则使用客户端API访问并更新这些参数。为了适应不同的集群环境，DMTK框架支持两种进程间的通信机制：MPI和ZMQ。应用程序端不需要修改任何代码就能够在这两种方式之间切换。DMTK支持Windows和Linux两种操作系统。

　　DMTK则是使用C++编写的，提供了一个客户端API和SDK。 DMTK的官网对DMTK框架、LightLDA、分布式词向量的应用场景、下载、安装、配置、运行以及性能等方面都做了详尽的介绍(见参考部分)。

　　DMTK主要用于自然语言处理方面，比如：文本分类与聚类、话题识别以及情感分析等

　　参考：

http://www.dmtk.io
https://github.com/Microsoft/DMTK

　　Google：TensorFlow(2015-11-10 开源)

　　TensorFlow 是一个用来编写和执行机器学习算法的工具。计算在数据流图中完成，图中的节点进行数学运算，边界是在各个节点中交换的张量(Tensors--多维数组)。TensorFlow负责在不同的设备、内核以及线程上异步地执行代码，目前支持CNN、RNN和LSTM等图像、语音和自然语言处理(NLP)领域最流行的深度神经网络模型。

　　Google已将TensorFlow用于GMail(SmartReply)、搜索(RankBrain)、图片(生成图像分类模型--Inception Image Classification Model)、翻译器(字符识别)等产品。

　　TensorFlow能够在台式机、服务器或者移动设备的CPU和GPU上运行，也可以使用Docker容器部署到云环境中。在处理图像识别、语音识别和语言翻译等任务时，TensorFlow依赖于配备图像处理单元(GPU)的机器和被用于渲染游戏图像的芯片，它对这些芯片依赖度比想象中的高。当前开源的版本能够运行在单机上，暂不支持集群。操作系统方面，TensorFlow能够运行在Linux和MacOS上。

　　TensorFlow的核心是使用C++编写的，有完整的Python API和C++接口，同时还有一个基于C的客户端API。

　　参考：

https://www.tensorflow.org
https://github.com/tensorflow/tensorflow

　　IBM：SystemML (2015-06 开源)

　　SystemML是灵活的，可伸缩机器学习(ML) 语言，使用Java编写。可实现可定制算法(述性分析、分类、聚类、回归、矩阵分解及生存分析等)，多个执行模式(单独运行、Hadoop 和 Spark )，自动优化。它由 IBM 的 Almaden 实验室花了近 10年开发而成的机器学习技术。

　　SystemML语言，声明式机器学习 (DML)。SystemML 包含线性代数原语，统计功能和 ML 指定结构，可以更容易也更原生的表达 ML 算法。算法通过 R 类型或者 Python 类型的语法进行表达。DML 通过提供灵活的定制分析表达和独立于底层输入格式和物理数据表示的数据显著提升数据科学的生产力。

　　SystemML 运行环境支持 Windows、Linux 及 MacOS，可支持单机和分布式部署。单机部署显然有利于本地开发的工作，而分布式部署则可以真正发挥机器学习的威力，支持的框架包括 Hadoop 和 Spark

　　众所周知的IBM AIWaston融入了不少SystemML技术(不了解的同学可以看下《Jeopardy!》节目，来领教到沃森的威力)

　　参考：

http://systemml.apache.org
https://github.com/apache/incubator-systemml

　　三星：VELES

　　VELES 是分布式深度学习应用系统，号称：用户只需要提供参数，剩下的我来搞，VELES使用 Python 编写，使用OpenCL 或者 CUDA，利用基于Flow 的编程方式。

　　参考：

https://velesnet.ml
https://github.com/Samsung/veles

　　百度：期待ING。。。

　　巨头之所以开源自己耗时多年打造的机器学习框架，是希望能够加速在人工智能方面的部署，在人工智能日益重要的未来抢占更多的主导权。而对于机器人创业公司来说，当这么多巨头将机器学习平台开源后，还有什么理由做不好机器人。

作者:崔月

来源：IT168

原文链接:最牛逼的开源机器学习框架,你知道几个

微信关注我们

原文链接：https://yq.aliyun.com/articles/217027

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

NSA出品：根据打字和滑屏方式跟踪手机用户

你使用手机屏幕的方式足以让你的智能手机识别出你来。没错，这不是科幻小说，黑科技来了。 NSA出品：魔力“曼德拉草” 据一位曾经参与技术设计的Lockheed Martin公司员工透露，美国国家安全局(NSA)有一种新技术可以通过你使用智能手机时手指滑屏与打字的方式识别出你。该公司高级研究员John Mears表示，该公司与NSA正合作创建一个“适用于智能手机的安全手势身份验证技术”，并且“他们实际上已经可以使用该项技术。” 这一新型用于识别智能手机滑屏的技术，被称为“曼德拉草”(旧时被认为具有魔力)，远程分析曲线——可分析出一个人手指划过设备触摸屏具有的独一无二的速度与加速度。 Mears解释说， “没有任何人的指触是有相同。人们可以在两个维度伪造你的笔迹，但是他们不能在三个或者四个维度进行伪造。三维是你所施加的压力，同时还有在纸上的两个维度。第四维就是时间。最先进的笔迹认证就是在四维空间中追踪你。” 类似“曼德拉草”还有动态签名——一项于1978年由美国空军为五角大楼捕捉手写签名行为生物识别所开发运动识别技术。 NSA想要让用户体验更多准确性耶!可这是真的吗? NSA已经对智能手机...

2017-09-01

448

今天我报告的题目是《从大数据到大知识——自然语言处理领域的投资机会》。其实搞投资也是挺苦的事，我最近才开始学习，投资的活很专业，没有常人想象的那么风光。我今天讲的题目有四个方面，第一是对AI时代的看法；第二，NLP是AI皇冠上的明珠；第三，我们的AI之路及ABC融合的想法；第四，NLP领域的投资方向。前面的不用讲了，我们不太愿意谈人工智能，但是不得不谈，因为大家都在谈。包括我们开复同学，前不久搞了一篇很高点击量的自媒体文章《我不是李开复，我是人工智能》。从投资的方向上来看，2016年麦肯锡的报告显示，AI方面的投资到2025年会到1千多亿美金。大家也可以看到，现在巨头们在AI领域的优势比较大，但是不是有他们我们就没事干了？也不一定，这些巨头有数据、有人才、有云的基础设施，我们很难在通用人工智能领域跟他们竞争。但是，还有别的很多地方和领域是可以做的。AI为什么这么火爆？昨天大会上也谈到大数据、深度学习、高计算力等，本次大会第一个巅峰论坛非常好，但是我后来看了一下，6位嘉宾全是搞视觉的，没有我们搞自然语言的，是不是搞自然语言太难了？还是说搞自然语言的人不好意思上去？大数据，深度学习，高的...

2017-09-01

477

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。