《Scala机器学习》一一1.7　总结-低调大师

《Scala机器学习》一一1.7　总结

2017-07-06 591

本节书摘来自华章计算机《Scala机器学习》一书中的第1章，第1.7节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.7　总结

本章试图为后面更复杂的数据科学建立一个通用平台。不要认为这里介绍了一套完整的探索性技术，因为探索性技术可扩展到非常复杂的模式上。但是，本章已经涉及了简单的汇总、抽样、文件操作（如读和写），并使用notebook和Spark DataFrame等工具来工作，Spark的DataFrame也为使用Spark/Scala的数据分析师引入了他们所熟悉的SQL结构。
下一章开始介绍数据管道，可将其看作基于数据驱动企业的一部分，并从商业角度给出数据发现的过程：做数据分析试图要完成的最终目标是什么。在介绍更复杂的数据表示之前，会先介绍一点传统的机器学习

微信关注我们

原文链接：https://yq.aliyun.com/articles/118745

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据架构的未来

本文讲述了大数据的相关问题，以及“大数据架构”得名的由来。大数据的问题或许所有读者都明白这一点：数据正在飞速增长。若是能够有效利用的话，我们能从这些数据中找到非常有价值的见解;传统技术有很多都是在40年前设计的，比如RDBMSs，不足以创造“大数据”炒作所宣称的商业价值。在大数据技术的使用上，常见的案例是“客户单一视图”;将关于客户所知道的一切内容放在一起，以便最大化服务提供与自身收入，比如确定具体需要采用什么促销方式，又是在什么时候、通过什么渠道来发送。尽管大数据的问题在于，让我们将这种潜力变为现实，高等级的关键功能至少包括下面这些能力：合并信息孤井、外在因素与数据流; 控制数据访问; 根据需要转化数据; 整合数据; 为数据分析提供工具; 发布数据报告; 将见解体现在运营过程中; 最小化工作完成的总拥有成本与响应时间。用数据湖作为答案很多公司正在观望一个被某些人称为数据湖的架构，这个数据平台在合并信息孤井数据流以及在单独的逻辑位置中执行数据持久化方面具有灵活性，能够从企业自身以及第三方的数据中挖掘出见解。将Hadoop(包括Spark在内)用于数据湖已成大势所趋，原因很多...

2017-07-07

473

背景：多维数据仓库中的维度表和事实表一般都需要有一个代理键，作为这些表的主键，代理键一般由单列的自增数字序列构成。MaxCompute(原ODPS）没有关系数据库中的自增列auto-increment id，但可以通过UDF来给海量数据的每一行产生唯一的id。效果如下： select row_sequence(),name from user_info; 一、准备工作 1、准备阿里云账号，文档参考：https://help.aliyun.com/document_detail/27803.html 2、开通大数据开发套件、MaxCompute服务。文档参考：https://help.aliyun.com/document_detail/27815.html 3、配置Eclipse ODPS环境，文档参照：https://help.ali

2017-07-07

1681

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。