首页 文章 精选 留言 我的

精选列表

搜索[Docker部署],共10000篇文章
优秀的个人博客,低调大师

部署Mahout

一、Mahout简介 Mahout是ApacheSoftwareFoundation(ASF)旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。ApacheMahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。Mahout包含许多实现,包括集群、分类、推荐过滤、频繁子项挖掘。此外,通过使用ApacheHadoop库,Mahout可以有效地扩展到云中。 (就是他,骑在象头上的那个Mahout) 在Mahout实现的机器学习算法: 算法类 算法名 中文名 分类算法 Logistic Regression 逻辑回归 Bayesian 贝叶斯 SVM 支持向量机 Perceptron 感知器算法 Neural Network 神经网络 Random Forests 随机森林 Restricted Boltzmann Machines 有限波尔兹曼机 聚类算法 Canopy Clustering Canopy聚类 K-means Clustering K均值算法 Fuzzy K-means 模糊K均值 Expectation Maximization EM聚类(期望最大化聚类) Mean Shift Clustering 均值漂移聚类 Hierarchical Clustering 层次聚类 Dirichlet Process Clustering 狄里克雷过程聚类 Latent Dirichlet Allocation LDA聚类 Spectral Clustering 谱聚类 关联规则挖掘 Parallel FP Growth Algorithm 并行FP Growth算法 回归 Locally Weighted Linear Regression 局部加权线性回归 降维/维约简 Singular Value Decomposition 奇异值分解 Principal Components Analysis 主成分分析 Independent Component Analysis 独立成分分析 Gaussian Discriminative Analysis 高斯判别分析 进化算法 并行化了Watchmaker框架 推荐/协同过滤 Non-distributed recommenders Taste(UserCF, ItemCF, SlopeOne) Distributed Recommenders ItemCF 向量相似度计算 RowSimilarityJob 计算列间相似度 VectorDistanceJob 计算向量间距离 非Map-Reduce算法 Hidden Markov Models 隐马尔科夫模型 集合方法扩展 Collections 扩展了java的Collections类 方法一、Mahout安装、配置 一、下载Mahout http://archive.apache.org/dist/mahout/ 二、解压 tar -zxvfmahout-distribution-0.9.tar.gz 三、配置环境变量 3.1、配置Mahout环境变量 # set mahout environment export MAHOUT_HOME=/home/yujianxin/mahout/mahout-distribution-0.9 export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH 3.2、配置Mahout所需的Hadoop环境变量 # set hadoop environment export HADOOP_HOME=/home/yujianxin/hadoop/hadoop-1.1.2export HADOOP_CONF_DIR=$HADOOP_HOME/conf export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_HOME_WARN_SUPPRESS=not_null 四、验证Mahout是否安装成功 执行命令mahout。若列出一些算法,则成功,如图: 五、使用Mahout 之入门级使用 5.1、启动Hadoop 5.2、下载测试数据 http://archive.ics.uci.edu/ml/databases/synthetic_control/链接中的synthetic_control.data 5.3、上传测试数据 hadoop fs -put synthetic_control.data/user/root/testdata 5.4 使用Mahout中的kmeans聚类算法,执行命令: mahout -core org.apache.mahout.clustering.syntheticcontrol.kmeans.Job 花费9分钟左右完成聚类 。 5.5 查看聚类结果 执行hadoop fs -ls /user/root/output,查看聚类结果。 方法二、Mahout安装与配置 Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。1:下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.7下载,我选择下载二进制包,直接解压及可。 hadoop@ubuntu:~$tar-zxvfmahout-distribution-0.7.tar.gz 2:配置环境变量:在/etc/profile,/home/hadoop/.bashrc中添加如下红色信息#set java environmentMAHOUT_HOME=/home/hadoop/mahout-distribution-0.7PIG_HOME=/home/hadoop/pig-0.9.2HBASE_HOME=/home/hadoop/hbase-0.94.3HIVE_HOME=/home/hadoop/hive-0.9.0HADOOP_HOME=/home/hadoop/hadoop-1.1.1JAVA_HOME=/home/hadoop/jdk1.7.0PATH=$JAVA_HOME/bin:$PIG_HOME/bin:$MAHOUT_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/conf:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$HBASE_HOME/lib:$MAHOUT_HOME/lib:$PIG_HOME/lib:$HIVE_HOME/lib:$JAVA_HOME/lib/tools.jarexport MAHOUT_HOMEexport PIG_HOMEexport HBASE_HOMEexport HADOOP_HOMEexport JAVA_HOMEexport HIVE_HOMEexport PATHexport CLASSPATH3:启动hadoop,也可以用伪分布式来测试4:mahout --help #检查Mahout是否安装完好,看是否列出了一些算法5:mahout使用准备a.下载一个文件synthetic_control.data,下载地址http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data,并把这个文件放在$MAHOUT_HOME目录下。b.启动Hadoop:$HADOOP_HOME/bin/start-all.shc.创建测试目录testdata,并把数据导入到这个tastdata目录中(这里的目录的名字只能是testdata) hadoop@ubuntu:~/$hadoopfs-mkdirtestdata# hadoop@ubuntu:~/$hadoopfs-put/home/hadoop/mahout-distribution-0.7/synthetic_control.datatestdata d.使用kmeans算法(这会运行几分钟左右) hadoop@ubuntu:~/$hadoopjar/home/hadoop/mahout-distribution-0.7/mahout-examples-0.7-job.jarorg.apache.mahout.clustering.syntheticcontrol.kmeans.Job e.查看结果 hadoop@ubuntu:~/$hadoopfs-lsroutput 如果看到以下结果那么算法运行成功,你的安装也就成功了。clusteredPoints clusters-0 clusters-1 clusters-10 clusters-2 clusters-3 clusters-4 clusters-5 clusters-6 clusters-7 clusters-8 clusters-9 data

优秀的个人博客,低调大师

TOMCAT部署

# java下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html [root@kazihuo ~]# mkdir -pv /usr/java [root@kazihuo ~]# tar -axvf jdk-8u151-linux-x64.tar.gz -C /usr/java/ [root@kazihuo ~]# vim /etc/profile.d/java.sh #创建文件并添加以下信息; JAVA_HOME=/usr/java/jdk1.8.0_151 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export PATH JAVA_HOME CLASSPATH [root@kazihuo ~]# source /etc/profile.d/java.sh [root@kazihuo ~]# java -version java version "1.8.0_151" Java(TM) SE Runtime Environment (build 1.8.0_151-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode) JAVA_HOME=/usr/java/jdk1.7.0_55 PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME [root@kazihuo ~]# wget -P /usr/local/http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.24/bin/apache-tomcat-8.5.24.tar.gz [root@kazihuo /usr/local]# tar -axvf apache-tomcat-8.5.24.tar.gz CATALINA_BASE=/usr/local/tomcat PATH=$CATALINA_BASE/bin:$PATH export CATALINA_BASE ------------------------------------------------------------- 作者: 罗穆瑞 出处: http://www.cnblogs.com/kazihuo/ 转载请保留此段声明,且在文章页面明显位置给出原文链接,谢谢! ------------------------------------------------------------------------------ 如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢! ------------------------------------------------------------------------------

优秀的个人博客,低调大师

Zabbix部署

Zabbix框架 server端:zabbix-server zabbix-server-mysql zabbix-get web端:zabbix-web zabbix-web-mysql agent端:zabbix-sender zabbix-agent 前提: 配好本地yum源,以便安装时自动解决依赖 环境: server:192.168.10.11 agent:192.168.10.12 mysql:192.168.10.10 配置本地域名解析 # cat /etc/hosts 192.168.10.11 node1.kazihuo.com node1 192.168.10.12 node2.kazihuo.com node2 配置HOSTNAME [root@node1 ~]# cat /etc/sysconfig/network node1.kazihuo.com [root@node1 ~]# cat /etc/hostname node1.kazihuo.com [root@node2 ~]# cat /etc/sysconfig/network node2.kazihuo.com [root@node2 ~]# cat /etc/hostname node2.kazihuo.com 说明: 因虚拟机环境有限,故zabbix-server也作为一台zabbix-agent使用,当其需要监控起来时要按照agent端进行配置,及修改对应的zabbix_agent.conf文件! 服务端配置: # wget https://mirrors.aliyun.com/zabbix/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpm # yum -y install zabbix-release-3.2-1.el7.noarch.rpm # yum -y install zabbix zabbix-server zabbix-server-mysql zabbix-get zabbix-web zabbix-web-mysql zabbix-agent #安装完成后自动生成以下目录及文件 [root@node1 /etc/zabbix]# tree . ├── web │ └── maintenance.inc.php ├── zabbix_agentd.conf ├── zabbix_agentd.d │ └── userparameter_mysql.conf └── zabbix_server.conf 2 directories, 4 files [root@node1 /etc/httpd/conf.d]# ls zabbix.conf [root@node1 /usr/share/doc/zabbix-server-mysql-3.2.10]# ls AUTHORS ChangeLog COPYING create.sql.gz NEWS README [root@node1]# mysql -uroot -p<root_password> mysql> create database zabbix character set utf8 collate utf8_bin; mysql> grant all privileges on zabbix.* to zabbix@'%' identified by 'zabbix'; [root@node1]# zcat /usr/share/doc/zabbix-server-mysql-3.2.*/create.sql.gz | mysql -uzabbix -p zabbix [root@node1 ~]# cat /etc/zabbix/zabbix_server.conf|grep DB DBName=zabbix DBUser=zabbix DBHost=192.168.10.10 DBPassword=000000 [root@node1 ~]# cat /etc/php.ini [zabbix] php_value max_execution_time 300 php_value memory_limit 128M php_value post_max_size 16M php_value upload_max_filesize 2M php_value max_input_time 300 php_value always_populate_raw_post_data -1 # php_value date.timezone Europe/Riga date.timezone = Asia/Shanghai #此配置也可在zabbix_server.conf的配置文件中配置,默认以包含,根据需求修改时区即可 [root@node1 ~]# systemctl start httpd.service [root@node1 ~]# systemctl start zabbix-server 客户端配置: [root@node2 ~]# yum -y install zabbix-sender zabbix-agent [root@node2 ~]# cat /etc/zabbix/zabbix_agentd.conf PidFile=/var/run/zabbix/zabbix_agentd.pid LogFile=/var/log/zabbix/zabbix_agentd.log LogFileSize=0 Server=192.168.10.11 ListenPort=10050 ServerActive=192.168.10.11 Hostname=node2.kazihuo.com [root@node2 ~]# systemctl start zabbix-agent 页面初始化 # 浏览器输入192.168.10.11/zabbix ,进入欢迎页面 # 检查所需插件是否OK # 配置zabbix连接的数据库 # 细节设置 # 安装完成 # zabbix初始化页面设置后生成对应的配置文件:/etc/zabbix/web/zabbix.conf.php # 默认的登录名及密码:Admin/zabbix ------------------------------------------------------------- 作者: 罗穆瑞 出处: http://www.cnblogs.com/kazihuo/ 转载请保留此段声明,且在文章页面明显位置给出原文链接,谢谢! ------------------------------------------------------------------------------ 如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢! ------------------------------------------------------------------------------

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册