基于Spark的机器学习实践 (十) - 降维

2019-04-17 745

通过讲解PCA算法的原理，使大家明白降维算法的大致原理，以及能够实现怎么样的功能。结合应用降维算法在分类算法使用之前进行预处理的实践，帮助大家体会算法的作用。

0 相关源码

1 PCA算法及原理概述

1.1 何为降维?

◆ 从高维度变为低维度的过程就是降维

◆ 例如拍照就是把处在三维空间中的人或物从转换到作为二维平面的
照片中

◆ 降维有线性的、也有非线性的方法。在机器学习中可以简化运算,减少特征量

1.2 PCA算法介绍

◆ PCA算法是一种常用的线性降维算法,算法类似于"投影”

◆ 降维简化了数据集,故可以视为一个压缩过程,在压缩过程中可能;会有信息丢失

◆ PCA除可以用来精简特征,还可以应用在图像处理中
例如基于PCA算法的特征脸法,它可以用来人脸识别

1.3 PCA算法原理简介

◆ PCA是基于K-L变换实现的一种算法

◆ PCA算法在实现上用到

微信关注我们

原文链接：https://yq.aliyun.com/articles/698807

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Java开发者想尝试转行大数据，系统学习方向分享？

前言相信很多Java开发者都对大数据有一定的了解，随着大数据时代的到来，也有很多Java程序员想要转行大数据。大数据技术中大多数平台使用的都是Java语言，因此，对于大数据技术的学习来说，Java程序员已经占尽了先机。但是很多人对大数据该怎么学，学哪些内容和方向不是很了解，下面就给大家来详细讲一下。本文分三大方面详细的讲如何学大数据：大数据方向工作介绍大数据工程师的技能要求大数据学习路径一.大数据方向工作介绍大数据方向的工作目前分为三个主要方向: 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）大数据零基础到项目实战，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，进群获取永久免费听课权限扣扣君498856122 二.大数据工程师的技能要求附上两份比较权威的大数据工程师技能图总结如下: 必须技能10条: Java高级(虚拟机、并发)、Linux 基本操作、Hadoop（此处为侠义概念单指HDFS+MapReduce+Yarn ）、...

2019-04-17

703

目录：数据量版本节点配置索引结构性能 Meltwater每天要处理数百万量级的帖子数据，因此需要一种能处理该量级数据的存储和检索技术。从0.11.X 版本开始我们就已经是Elasticsearch的忠实用户了。在经历了一些波折之后，最终我们认为做出了正确的技术选型。 Elasticsearch 用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被 Elasticsearch 检索到。本文将分享我们所学到的经验、如何调优 Elasticsearch，以及要绕过的一些陷阱。如果想了解更多关于我们在Elasticsearch方面的点滴，可参考之前博文中的 numad issues 和 batch percolator。 1.数据量每天都有数量相当庞大的新闻和微博产生；在高峰期需要索引大约300多万社论文章，和近1亿条社交帖子数据。其中社论数据长期保存以供检索（可回溯到2009年），社交帖子数据保存近15个...

2019-04-17

661

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。