《Hadoop与大数据挖掘》——2.5　K-Means算法原理及Hadoop MapReduce实现-低调大师

《Hadoop与大数据挖掘》——2.5　K-Means算法原理及Hadoop MapReduce实现

2017-07-02 542

本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.5节，作者张良均樊哲位文超刘名军许国杰周龙焦正升，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5　K-Means算法原理及Hadoop MapReduce实现

2.5.1　K-Means算法原理

K-Means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表。它是将数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则（如图2-45所示）。K-Means算法以欧氏距离作为相似度测度，求对应某一初始聚类中心向量V最优分类，使得评价指标最小。算法采用误差平方和准则函数作为聚类准则函数。

具体的算法步骤如下：

2.5.2　动手实践：K-Means算法实现

编写单机版的K-Means算法有利于理解Hadoop实

微信关注我们

原文链接：https://yq.aliyun.com/articles/119222

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm分布式实时计算模式》——3.3　Trident spout

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第3章，第3.3节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.3　Trident spout 让我们先来看topology中的spout。和Storm相比，Trident引入了“数据批次”（batch）的概念。不像Storm的spout，Trident spout必须成批地发送tuple。每个batch会分配一个唯一的事务标识符。spout基于约定决定batch的组成方式。spout有三种约定：非事务型（non-transactional）、事务型（transactional）、非透明型（opaque）。非事务型spout对batch的组成部分不提供保障，并且可能出现重复。两个不同的b

2017-07-03

534

“在《预见未来》这部影片中，尼古拉斯·凯奇饰演的克里斯·约翰森有一个特异功能——能够预见未来2秒钟将要发生的事，这一超能力帮助他多次成功避险。商业世界中，Dell Statistica预测分析软件赋予企业“预见未来”的超能力，未来尽在掌控！” 今天，越来越多的企业意识到数据的重要性，且数据已经成为绝大多数企业的重要资产，影响着企业的业务命脉。2015年发布的《中国大数据发展调查报告》显示，大部分企业的数据总量在50TB到500TB之间，占调查比例的73%。报告还指出，中国大数据市场，在2016至2018年还将持续增长，增幅将为40%左右。巨大的数据量中蕴含着无限的价值，也隐藏着无限的商机。大数据这座“金矿”就摆在面前，企业应该如何准确找到“金子”的位置？如何快人一步发掘大数据的“黄金”价值？ Dell Statistica能够帮助企业轻松将海量数据转化为最强有力的竞争优势。 Dell Statistica 预见未来不只2秒钟《中国大数据发展调查报告》显示，有73.9%的企业认为数据库表是大数据应用当中最主要的数据类型。Dell Statistica提供了企业数据库内和Hadoo...

2017-07-03

463

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。