Apache Spark机器学习.2.4　数据集重组-低调大师

Apache Spark机器学习.2.4　数据集重组

2017-05-01 559

2.4　数据集重组

本节，我们介绍数据集重组技术。我们将讨论一些特殊的Spark数据重组特征，以及一些可以用在Spark notebook中基于R语言数据重组的特别方法。

学习完本节，我们可以根据不同的机器学习需要进行数据集重组。

2.4.1　数据集重组任务

数据集重组虽然听起来比较容易，但还是很有挑战，并且非常耗时。

有两个常见的数据重组任务：一是，获取一个用于建模的数据子集；二是，以更高的层次汇总数据。例如，我们有学生数据，但是我们需要一些班级层面的数据集。为此，我们需要计算学生的一些属性，然后重组为新的数据。

处理数据重组，数据科学家和机器学习从业者经常使用他们熟悉的SQL和R语言编程工具。幸运的是，在Spark环境中，Spark SQL和R notebook能够让用户沿用他们熟悉的方式。我们将在下面两节中详细说明。

总体来讲，我们推荐使

微信关注我们

原文链接：https://yq.aliyun.com/articles/84542

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Spark机器学习.2.3　一致性匹配

2.3　一致性匹配本节，我们将讨论一个重要的数据准备主题，就是一致性匹配和相关解决方案。我们将讨论几个使用Spark解决一致性问题的特征和使用Spark的数据匹配解决方案。阅读本节以后，读者可以使用Spark解决一些常见的数据一致性问题。 2.3.1　一致性问题我们经常需要在数据准备过程中处理一些属于同一个人或单元的数据元素，但这些元素并不相似。例如，我们有一些Larry Z.的购物数据和L. Zhang的网页活动数据。Larry Z.和L. Zhang是否是同一个人？数据中是否有很多一致性的变化。由于实体变异的类型非常普遍，可能引起的原因有：重复、错误、名字变化和有意的别名等，使得对象匹配成为机器学习数据准备中的一个巨大挑战。有时，完成匹配或寻找关联都非常困难，而且这些工作非常耗时。然而，任何种类的错误匹配将产生许多错误，数据的不

2017-05-02

646

本节书摘来异步社区《HBase管理指南》一书中的第1章，第1.1节，作者：蒋燚峰译者：苏南，更多章节内容可以访问云栖社区“异步社区”公众号查看。第1章　HBase集群安装 HBase管理指南本章内容：快速入门 Amazon EC2的安装及准备 Hadoop安装 ZooKeeper安装内核参数设置修改 HBase安装 Hadoop/ZooKeeper/HBase基本配置多个高可靠性（HA）主节点的安装

2017-05-02

543

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。