首页 文章 精选 留言 我的

精选列表

搜索[apache storm],共10000篇文章
优秀的个人博客,低调大师

Apache Spark机器学习.1.7 机器学习工作流示例

1.7 机器学习工作流示例 为了进一步了解学习机器学习的工作流,在这里让我们学习一些例子。 本书后续章节会研究风险建模、欺诈检测、客户视图、流失预测和产品推荐。对于诸如此类的项目,目标往往是确定某些问题的原因,或者建立一个因果模型。下面是使用工作流建立一个因果模型的一个例子。 1.检查数据结构,以确保更好地理解数据: 数据是横截面数据吗?是隐含着时间信息的合并数据吗? 是否使用了分类变量? 2.检查缺失值: 不知道或者忘记了一个答案可能会被记录为一个中立或特殊的类别 一些变量可能有很多缺失值 根据需要重新记录一些变量 3.进行一些描述性研究,开始讲故事: 使用比较方法和交叉列表 检查一些关键变量的变异性(标准差和方差) 4.ind变量(外生变量)的选择组: 作为问题原因的候选 5.基本描述性统计: 所有变量的均值、标准差和频率 6.测量工作: 研究一些测量值的规模(

优秀的个人博客,低调大师

Apache Spark机器学习.2.3 一致性匹配

2.3 一致性匹配 本节,我们将讨论一个重要的数据准备主题,就是一致性匹配和相关解决方案。我们将讨论几个使用Spark解决一致性问题的特征和使用Spark的数据匹配解决方案。 阅读本节以后,读者可以使用Spark解决一些常见的数据一致性问题。 2.3.1 一致性问题 我们经常需要在数据准备过程中处理一些属于同一个人或单元的数据元素,但这些元素并不相似。例如,我们有一些Larry Z.的购物数据和L. Zhang的网页活动数据。Larry Z.和L. Zhang是否是同一个人?数据中是否有很多一致性的变化。 由于实体变异的类型非常普遍,可能引起的原因有:重复、错误、名字变化和有意的别名等,使得对象匹配成为机器学习数据准备中的一个巨大挑战。有时,完成匹配或寻找关联都非常困难,而且这些工作非常耗时。然而,任何种类的错误匹配将产生许多错误,数据的不

优秀的个人博客,低调大师

Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

一、 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二、预先安装 1. 安装JDK 2.安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen-tdsa-P''-f~/.ssh/id_dsa cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys mac 启动sshd sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist 查看启动 sudo launchctl list | grep ssh 输出-0com.openssh.sshd 表示启动成功 停止sshd服务 sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist 三、安装Hadoop 1. 创建Hadoop文件系统目录 mkdir -pv hadoop/workspace cd hadoop/workspace mkdir tmp mkdir -pv hdfs/data mkdir -pv hdfs/name 添加hadoop目录环境变量 vi ~/.bashrc HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4 配置hadoop,都在$HADOOP_HOME/etc/hadoop 下 1. core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS URI</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/Users/ysisl/app/hadoop/workspace/tmp</value> <description>namenode temp dir</description> </property> </configuration> 2.hdfs-site.xml <configuration> <property> <name>dfs.name.dir</name> <value>/Users/ysisl/app/hadoop/workspace/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据</description> </property> <property> <name>dfs.data.dir</name> <value>/Users/ysisl/app/hadoop/workspace/hdfs/data</value> <description>datanode上数据块的物理存储位置</description> </property> <property> <name>dfs.replication</name> <value>1</value> <description>副本个数,配置默认是3,应小于datanode机器数量</description> </property> </configuration> 3. copy mapred-site.xml.template to mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 4. yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>localhost:8099</value> </property> </configuration> 5. 格式化HDFS文件系统 $HADOOP_HOME/bin/hdfs namenode -format 6. 进入sbin/ 执行 start-all.sh 7. 执行jps 查看是否正常启动 21472 30256 Jps 29793 DataNode 29970 SecondaryNameNode 29638 NameNode 30070 ResourceManager 30231 NodeManager 8. 打开http://localhost:50070/explorer.html 网页查看hadoop目录结构,说明安装成功 四、安装Spark 1. 解压spark压缩包 tar xvzf spark.1.6.tar.gz 2. 加入环境变量 vi ~/.bashrc SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6 2. 设置配置文件 cd spar-1.6.1-bin-hadoop2.6/conf cp spark-env.sh.template spark-env.sh vi spar-env.sh 添加如下内容 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 export HADOOP_CONF_DIR=/Users/ysisl/app/hadoop/hadoop-2.6.4/etc/hadoop export SPARK_MASTER_IP=localhost export SPARK_WORKER_CORES=2 export SPARK_WORKER_MEMORY=2g cp slaves.template slaves 默认slaves现在就主机一台 3. 启动 sbin/start-all.sh jps 查看到多出一个Master,worker进程 21472 29793 DataNode 29970 SecondaryNameNode 30275 Master 30468 SparkSubmit 29638 NameNode 30070 ResourceManager 30231 NodeManager 30407 Worker 30586 Jps 4. 配置scala 、spark 、 hadoop 环境变量加入PATH ,方便执行 vi ~/.bashrc export HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4 export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 export SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6 export PATH="${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH" 五. 测试运行 1. 准备一个csv文件,路径 /Users/ysisl/app/hadoop/test.csv 2. 查看DFS文件系统结构, 执行 hadoop fs -lsr / 3. 新建目录 , hadoop fs -mkdir /test 4. 上传文件到目录, hadoop fs -put /Users/ysisl/app/hadoop/test.csv /test/ 5.hadoop fs -lsr / 查看已创建的目录文件 6. 执行 spark-shell scala >valfile=sc.textFile("hdfs:/test/test.csv") scala >valcount=file.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey(_+_) scala >count.collect 7. 查看执行状态 a. localhost:8080 ,查看spark 集群运行情况。 此端口一般与其他端口冲突 在spark-env.sh 中加入export SPARK_MASTER_WEBUI_PORT=98080 来指定 b.http://localhost:4040/jobs/,查看 spark task job运行情况 c.http://localhost:50070/hadoop集群运行情况

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册