阿里云机器学习平台——PAI平台-低调大师

阿里云机器学习平台——PAI平台

2016-07-12 1152

在云栖TechDay第十五期活动上，阿里云iDST资深技术专家褚崴给大家带来了《阿里云机器学习平台》的分享，他以机器学习的概念入手展开了此次分享，演讲中他重点介绍了阿里云机器学习平台的基础架构和产品特点，并结合阿里内部的芝麻信用分、推荐系统等场景讲解了PAI平台的具体应用方案。

下文根据褚崴的演讲内容整理。

机器学习

图一 机器学习分类

机器学习简单来说就是，人教机器在我们积累的数据当中发现规律，然后能够辅助我们来做一些预测和决策。

机器学习笼统地讲可以分为三类：

1）有监督学习(supervised learning)，是指每个样本都有对应的期望值，然后通过搭建模型，完成从输入的特征向量到目标值映射，典型的例子是回归和分类问题；

2）无监督学习(unsupervised learning)，是指在所有的样本中没有任何目标值，我们期望从数据本

微信关注我们

原文链接：https://yq.aliyun.com/articles/57677

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop1.x MapReduce的Slot的理解

1.首先，slot不是CPU的Core，也不是memory chip，它是一个逻辑概念，一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小，因而slot是 Hadoop的资源单位。 2.Hadoop利用slots来管理分配节点的资源。每个Job申请资源以slots为单位，每个节点会确定自己的计算能力以及memory确定自己包含的slots总量。当某个Job要开始执行时，先向JobTracker申请slots，JobTracker分配空闲的slots，Job再占用slots，Job结束后，归还slots。 3.每个TaskTracker定期（例如淘宝Hadoop心跳周期是5s）通过心跳(hearbeat)与Jobtracker通信，一方面汇报自己当前工作状态，JobTracker得够某个TaskTracker是否Alive；同时汇报自身空闲slots数量。JobTracker利用某个调度规则，如Hadoop默认调度器FIFO或者Capacity Scheduler、FairScheduler等。4.Hadoop里有两种slots, map slots和reduce s...

2016-07-13

610

1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。 2.JobClient提交作业。 3.JobClient生成作业目录。 4.从本地拷贝 MapReduce 的作业jar文件 5.如果DistributedCache中有需要的数据，从DistributedCache中拷贝这部分数据。 6.根据InputFormat实例，实现输入数据的split，在作业目录上生成job.split和job.splitmetainfo文件。 7.将配置文件写入到作业目录的job.xml文件中。 8.JobClient和JobTracker通讯，提交作业。 9.JobTracker将job加入到job队列中。 10.JobTracker的TaskScheduler（任务调度器）对job队列进行调度。 11.TaskTracker通过心跳和J...

2016-07-13

589

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。