开源框架Mahout配置-低调大师

开源框架Mahout配置

2019-10-19 654

开源框架Mahout配置

机器学习这两年特别火，ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士，作为一个技术控，也得折腾下，就这样来初步折腾下Mahout这个机器学习的主流开源框架。

一、Mahout简介

Mahout的中文意思：驭象的人，再看看Mahout的logo，骑在象头上的那个Mahout。机器学习是人工智能的一个分支，它涉及通过一些技术来允许计算机根据之前的经验改善其输出。此领域与数据挖掘密切相关，并且经常需要使用各种技巧，包括统计学、概率论和模式识别等。虽然机器学习并不是一个新兴领域，但它的发展速度是毋庸置疑的。许多大型公司，包括 IBM、Google、Amazon、Yahoo! 和 Facebook，都在自己的应用程序中实现了机器学习算法。此外，还有许多公司在自己的应用程序中应用了机器学习，以便学习用户以及过去的经验，从而获得收益。

Mahout 是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。

在Mahout实现的机器学习算法：

算法类	算法名	中文名
分类算法	Logistic Regression	逻辑回归
	Bayesian	贝叶斯
	SVM	支持向量机
	Perceptron	感知器算法
	Neural Network	神经网络
	Random Forests	随机森林
	Restricted Boltzmann Machines	有限波尔兹曼机
聚类算法	Canopy Clustering	Canopy聚类
	K-means Clustering	K均值算法
	Fuzzy K-means	模糊K均值
	Expectation Maximization	EM聚类（期望最大化聚类）
	Mean Shift Clustering	均值漂移聚类
	Hierarchical Clustering	层次聚类
	Dirichlet Process Clustering	狄里克雷过程聚类
	Latent Dirichlet Allocation	LDA聚类
	Spectral Clustering	谱聚类
关联规则挖掘	Parallel FP Growth Algorithm	并行FP Growth算法
回归	Locally Weighted Linear Regression	局部加权线性回归
降维/维约简	Singular Value Decomposition	奇异值分解
	Principal Components Analysis	主成分分析
	Independent Component Analysis	独立成分分析
	Gaussian Discriminative Analysis	高斯判别分析
进化算法	并行化了Watchmaker框架
推荐/协同过滤	Non-distributed recommenders	Taste(UserCF, ItemCF, SlopeOne）
推荐/协同过滤	Distributed Recommenders	ItemCF
向量相似度计算	RowSimilarityJob	计算列间相似度
向量相似度计算	VectorDistanceJob	计算向量间距离
非Map-Reduce算法	Hidden Markov Models	隐马尔科夫模型
集合方法扩展	Collections	扩展了java的Collections类

二、Mahout安装配置（网上很多相关文档是错误的，我这个方法能成功运行）

1、下载Mahout

进入 http://archive.apache.org/dist/mahout/ 下载最新版本包

wget http://archive.apache.org/dist/mahout/0.12.2/apache-mahout-distribution-0.12.2.tar.gz

2、解压

tar zxvf apache-mahout-distribution-0.12.2.tar.gz

3、配置环境变量（必备前提是hadoop已完全配置好并能正常使用，hadoop的部署文档很多了，我就不说了。）

配置Mahout环境变量

export MAHOUT_HOME=/root/apache-mahout-distribution-0.12.2
export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH

4、验证Mahout是否安装成功

运行命令mahout，若列出一些算法就配置成功，如图：

三、Mahout 之入门使用

1、启动Hadoop集群

2、下载测试数据，把这个文件放在$MAHOUT_HOME/testdata目录下：

/root/apache-mahout-distribution-0.12.2

mkdir testdata

cd testdata

wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

3、使用Mahout中的kmeans聚类算法，执行命令：

mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

大概28秒完成聚类，结果如下图：（根据集群机器的硬件配置，有人说要10分钟）

注意：当你运行上面命令看到如下的代码时以为是错的，其实不是，原因：MAHOUT_LOCAL：设置是否本地运行，如果设置该参数就不会在hadoop运行了，一旦设置这个参数那HADOOP_CONF_DIR

和HADOOP_HOME两个参数就自动失效了。
MAHOUT_LOCAL is not set, so we don’t add HADOOP_CONF_DIR to classpath.
no HADOOP_HOME set , running locally

4、查看聚类分析结果，结果会在根目录建立output新文件夹，如下图表示mahout配置正确且运行正常：

好了，先到这，下次再深入研究。

微信关注我们

原文链接：https://yq.aliyun.com/articles/608096

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017金砖会议之spark

前言 2017年金砖国家工商论坛组委会2日召开新闻发布会，介绍有关情况。论坛预期取得四方面成果：一是增强工商界加强互利合作的信心，二是增进工商界之间的交流合作，三是提出有价值的政策建议，四是拓展工商界参与全球经济治理的深度和广度。 spark简介 Spark（注意不要同Apache Spark混淆）的设计初衷是，可以简单容易地创建REST API或Web应用程序。它是一个灵活、简洁的框架，大小只有1MB。Spark允许用户自己选择设计应用程序的模板引擎以及选择最适合他们项目的库，比如，HTML解析功能就有Freemarker、Mustaches、Velocity、Jade、Handlebars、Pebble或Water等选项可供选择，而且很少需要配置或样板文件。不过，灵活简单的代价是，用户可选的功能减少。总之，Spark剔除了许多Java的臃肿之物，提供了一个最小化的、灵活的Web框架。但由于精简程度较高，它缺少了一些功能，不适合用于大型Web应用程序的开发。使用示例 1.在pom.xml文件上加入依赖： <dependency> <groupId>com.s...

2019-10-19

656

昨天开发找到我们DBA，要我们写一条Hive SQL。需求：有一个t表，主要有机场名称airport，机场的经纬度distance这两个列组成，想得到所有距离小于100的两个机场名。其实写这个SQL的逻辑并不是很困难，难点是如何去重复值，我用MySQL模拟的一个表，其实Hive语法和SQL差不多，插入了三条数据，a, b, c 分别代表三个机场名称，结构如下： mysql>showcreatetablet\G ***************************1.row*************************** Table:t CreateTable:CREATETABLE`t`( `airport`varchar(10)DEFAULTNULL, `distant`int(11)DEFAULTNULL )ENGINE=InnoDBDEFAULTCHARSET=utf8 1rowinset(0.00sec) mysql>select*fromt; +---------+---------+ |airport|distant| +---------+--...

2019-10-19

702

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。