号外！大维度机器学习也有计算框架了-低调大师

号外！大维度机器学习也有计算框架了

2017-07-31 682

简介

为支持超大维度机器学习模型运算，腾讯数据平台部与香港科技大学合作开发了面向机器学习的分布式计算框架——Angel 1.0。

Angel是使用Java语言开发的专有机器学习计算系统，用户可以像用Spark, MapReduce一样，用它来完成机器学习的模型训练。Angel已经支持了SGD、ADMM优化算法，同时我们也提供了一些常用的机器学习模型；但是如果用户有自定义需求，也可以在我们提供的最优化算法上层比较容易地封装模型。

Angel应用香港科技大学的Chukonu 作为网络解决方案， 在高维度机器学习的参数更新过程中，有针对性地给滞后的计算任务的参数传递提速，整体上缩短机器学习算法的运算时间。这一创新采用了香港科技大学陈凯教授及其研究小组开发的可感知上层应用（Application-aware）的网络优化方案，以及杨强教授领导的的

微信关注我们

原文链接：https://yq.aliyun.com/articles/176372

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据时代，OLAP解析与发展方向

数据分析领域自2010前后一直占据了全球信息技术的核心地位，OLAP的需求并未随着Hadoop的流行而消亡，而是被越来越理智的认可——“数据再多也需要分析、分析的主要需求还是交互查询”。本文概括了OLAP的本质原则、曾经的困境和当前的技术派系，希望能引起从业者的思考，共同促进行业进步与发展! 1. 剖析OLAP本质 OLAP(Online Analytical Processing)是一种数据处理技术，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业(公司)的经营状况二十几年前E.F. Codd提出OLAP时，也参照关系数据库提出了12条规则，但后期没有得到发展，其中有些规则在现在看来都已经不再完全适用，或者不是OLAP的特殊规则。因此我们从OLAP的本质定位上，重新确定三条原则，用以解析OLAP的历史发展： 1) 提供多维的业务视图(“维”是OLAP存在和核心概念) 2) 满足灵活的交互分析(面向决策分析需要及时响应查询需求的...

2017-08-01

548

探索性数据分析(EDA)帮助我们认识底层的数据基结构及其动力学，以此来最大限度发掘出数据的可能性。EDA是提取重要变量和检测异常值的关键。尽管存在着很多种机器学习算法，但EDA仍被视为理解和推动业务的最关键算法之一。其实有很多种方式都能够执行实现EDA，例如Python的matplotlib、seaborn库，R语言的ggplot2，而且网络上有很多很好的资源，例如John W. Tukey的“探索性数据分析”， Roger D. Peng 的“用R进行探索性数据分析”等，不胜枚举。在本文中，我主要讲解下如何使用Elastic search和Kibana实现EDA。目录： 1. Elastic search 2. Kibana 3. 创建数据表数据索引链接Kibana 可视化 4. 搜索栏 1. Elastic Search (ES) Elastic Search是一个开放源码，RESTful分布式和可扩展的搜索引擎。由于其简单的设计和分布式特性，Elastic Search从大量级数据(PB)中进行简单或复杂的查询、提取结果都非常迅速。另外相较于传统数据库被模式、表所约束，...

2017-08-01

631

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。