首页 文章 精选 留言 我的

精选列表

搜索[机器学习系统],共10022篇文章
优秀的个人博客,低调大师

Apache Spark机器学习3.6 结果解释

3.6 结果解释 通过了模型评估,并决定选择估计模型作为最终模型之后,我们需要向公司执行团队和技术团队解释执行结果。 接下来,我们将讨论一些经常使用的结果解释方法,使用图表来表达影响评估。 一些用户喜欢使用ROI的形式解释我们的结果,这就需要成本和效益的数据。当我们拥有成本和效益数据时,结果可以很方便地覆盖ROI主题。当然,需要一些优化才可以应用到实际决策中。 影响的评估 正如在Spark整体视图一节中所介绍的,本项目的主要目的是获得销售团队成功的整体视图。例如,公司希望比较一下市场营销与培训和其他因素对销售团队成功的影响。 我们已经使用线性回归模型进行了估计,一个简单的影响比较方法是使用每个特征组的ANOVA来总结这种变化。 下图是另一个使用图形解释结果的例子:

优秀的个人博客,低调大师

Apache Spark机器学习3.4 模型估计

3.4 模型估计 在上一节完成了特征集选择,接下来需要评估模型参数。我们可以使用MLlib或者R语言进行评估,并准备分布式的计算。 为了简化操作,我们使用Databricks的作业特性。具体来讲,在Databricks环境中,前往“Job”菜单,创建作业,如下图所示: 接着,用户可以选择notebook来运行,指定集群并且调度作业。一旦作业被调度,用户可以监视作业的执行,并收集结果。 在3.2节,我们为选择的3个模型准备了一些代码。现在,需要修改这些代码和上一节讨论的最终特征集,以创建最终的notebook。 换句话说,我们有1个因变量和通过PCA和特征选择得到的17个特征。因此,我们需要将这些变量插入到我们第2节开发的代码中,以建立我们的notebook。然后,我们将使用Spark作业特征以分布式的方式执行这些notebook。 3.4.

优秀的个人博客,低调大师

Apache Spark机器学习3.5 模型评估

3.5 模型评估 在上一节,我们完成了模型估计任务。现在,对我们来讲是时候评估模型是否满足模型质量标准,以决定我们进行下一步的结果解释还是回到前面的阶段改善模型。 本节,我们将使用均方根误差(Root-Mean-Square Error,RMSE)和受试者工作特征(Receiver Operating Characteristic,ROC)曲线来评估我们模型的质量。计算RMSE和ROC曲线,我们需要使用测试数据而不是训练数据来评估模型。 3.5.1 快速评价 很多软件包为用户提供一些算法来快速评估模型。例如,在MLlib和R语言中,逻辑回归模型都提供混淆矩阵和误报数计算。 具体来讲,MLlib为我们提供confusionMatrix 和numFalseNegatives()这两个函数和一些算法来快速计算MES,如下所示: 此外,R语言为我们

优秀的个人博客,低调大师

机器学习实现海量新闻自动分类

通过最佳实践帮助您实现上述案例效果 Step1:数据导入MaxCompute 1.1 创建需要上传的本地数据 新闻文本表: 字段名 含义 类型 描述 category 新闻类型 string 体育、女性、社会、军事、科技等 title 标题 string 新闻标题 content 内容 string 新闻内容 源数据:nlp_use stop_words表: 字段名 含义 类型 描述 point 用户名 string 人 stop_words 标点符号 string " " ,等 源数据:stop_words 1.2 创建MaxCompute表 1.2.1 开通MaxCompute 阿

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册