首页 文章 精选 留言 我的

精选列表

搜索[最权威安装],共10000篇文章
优秀的个人博客,低调大师

Hadoop伪分布式安装Spark

应用场景 搭建部署了hadoop环境后,使用MapReduce来进行计算,速度非常慢,因为MapReduce只是分布式批量计算,用于跑批的场景,并不追求速率,因为它需要频繁读写HDFS,并不能实时反馈结果,这种跑批的场景用的还是比较少的。一般客户最想看到的是输入后立马有结果反馈。那此时我们就需要在Hadoop伪分布式集群上部署Spark环境了!因为Spark是内存计算,它把计算的中间结果存到了内存中,不用频繁读取HDFS,做了极大的优化,当然Spark也是今后的潮流,慢慢将取代Hadoop的很多组件,Spark还有一个优势就是,它是天然与Hadoop完美结合的! 操作步骤 1. 下载Scala和Spark SCALA2.10.4下载地址 spark1.6.1下载地址 2. 解压并配置环境变量 下载解压scala,添加配置环境变量: export SCALA_HOME=/opt/scala-2.10.4 export PATH=$JAVA_HOME/bin$HADOOP_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$PATH 下载解压spark,添加配置环境变量: export SPARK_HOME=/opt/spark-1.6.1 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$PATH 3. 修改spark-env.sh 进入Spark的配置文件路径, # cd $SPARK_HOME/conf 在spark-env.sh文件中添加如下配置: export JAVA_HOME=/opt/jdk1.7.0_79 export SCALA_HOME=/opt/scala-2.10.4 export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop 4. 启动spark: # cd /opt/spark-1.6.1 # ./sbin/start-all.sh 5. 验证 启动完毕,命令行输入jps,如果有master,worker那么就是启动成功 浏览器访问:http://192.168.208.110:8080 # ./bin/spark-shell 浏览器访问:http://192.168.208.110:4040 访问spark-shell页面 # ./bin/spark-sql 通过spark-sql连接hive,访问hive中的数据 # ./sbin/start-thriftserver.sh # ./bin/beeline 重要,启动后,可以直接使用hive的程序,即HQL执行时默认用spark来进行内存计算

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册