首页 文章 精选 留言 我的

精选列表

搜索[存储过程],共10015篇文章
优秀的个人博客,低调大师

spark过程

scala配置 1、下载解压包 tar -xvf scala-2.10.4.tgz -C /usr/local/ 2、包重命名为scala 3、配置环境变量 export SCALA_HOME=/usr/local/scala export PATH=$PATH:/usr/local/scala/bin 4、执行生效source /etc/profile ##验证配置 scala -version 得到 Scala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL 如果得到以上这句话,恭喜你,scala配置成功! maven配置 1、下载解压包 tar -xvf apache-maven-3.3.9-bin.tar.gz -C /usr/local/ 2、包重命名为maven 3、配置环境变量/etc/profile export MAVEN_HOME=/usr/local/maven export PATH=$PATH:/usr/local/maven/bin export MAVEN_OPTS="-Xms256m -Xmx512m" ##验证配置 mvn -v 得到 Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00) Maven home: /usr/local/maven Java version: 1.7.0_55, vendor: Oracle Corporation Java home: /usr/local/jdk/jre Default locale: en_US, platform encoding: UTF-8 OS name: "linux", version: "2.6.32-642.el6.x86_64", arch: "i386", family: "unix" 如果得到以上这句话,恭喜你,scala配置成功! 安装编译spark 1、解压源码包:tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz -C /usr/local/ cd /usr/local/ mv spark-2.0.2-bin-hadoop2.7 spark-2.0.2 source /etc/profile 2、复制配置模板文件 cd /usr/local/spark-2.0.2/conf cp spark-env.sh.template spark-env.sh cp slaves.template slaves cp spark-defaults.conf.template spark-defaults.conf 主要配置JAVA_HOME、SCALA_HOME、HADOOP_HOME、HADOOP_CONF_DIR、SPARK_MASTER_IP等 vim spark-env.sh export JAVA_HOME=/usr/local/jdk export SCALA_HOME=/usr/local/scala export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_LAUNCH_WITH_SCALA=0 export SPARK_WORKER_MEMORY=1g export SPARK_DRIVER_MEMORY=1g export SPARK_MASTER_IP=192.168.1.114 export SPARK_LIBRARY_PATH=/usr/local/spark-2.0.2/lib export SPARK_MASTER_WEBUI_PORT=18080 export SPARK_WORKER_DIR=/home/spark export SPARK_MASTER_PORT=7077 export SPARK_WORKER_PORT=7078 export SPARK_LOG_DIR=/home/spark_log export SPARK_PID_DIR='/home/spark/run' slaves(将所有节点都加入,master节点同时也是worker节点) spark-defaults.conf spark.master yarn-client spark.home /root/spark-without-hive spark.eventLog.enabled true spark.eventLog.dir hdfs://Goblin01:8020/spark-log spark.serializer org.apache.spark.serializer.KryoSerializer spark.executor.memory 1g spark.driver.memory 1g spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three" spark.master指定Spark运行模式,可以是yarn-client、yarn-cluster... spark.home指定SPARK_HOME路径 spark.eventLog.enabled需要设为true spark.eventLog.dir指定路径,放在master节点的hdfs中,端口要跟hdfs设置的端口一致(默认为8020),否则会报错 spark.executor.memory和spark.driver.memory指定executor和dirver的内存,512m或1g,既不能太大也不能太小,因为太小运行不了,太大又会影响其他服务 配置yar-site.xml,跟hdfs-site.xml在同一个路径下($HADOOP_HOME/etc/hadoop) ll /usr/local/hadoop/etc/hadoop/yarn-site.xml </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>haproxy:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>haproxy:8035</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>mycat:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>mycat:8088</value> </property> <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> </configuration> 把spark-2.0.2复制到其他节点 启动start-all.sh 7. 运行 1) 准备一个文本文件放在/logs/wordcount.log内容为: 2) 运行spark-shell 本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1875951

优秀的个人博客,低调大师

编程语言运行过程

计算机的计算方式:二进制(0,1)所有都是;电脑是由:硬件+系统(组成的)。 操作系统:软件的服务平台,开发都是基于操作系统。抛弃系统(所有都要进行开发)很麻烦。 编程:就是将编程语言转换成(机器码)电脑只认识机器码,然后再由系统执行。编译:就是将代码转换成机器能看懂的语法。 c/c++: [代码] 编译【程序】(平台认识的可执行程序) 【计算机中运行】 运算速度 1秒 c#: [代码] 同上 java: [代码] 编译【中间代码】—————【虚拟机】(转换工作 中间码转成机器码)—————-计算机中运行 (1.3秒) python:[代码] —————————————【虚拟机】——-———计算机中运行 (6秒)时间是举例,说明。 三大操作系统;Windows 娱乐办公80% 服务器20% Unix(C语言) 20% 80% Linux(c++重写) 20% 80% 虚拟机翻译官 (根据平台不同 转成不同的机器码) 比C语言快的几秒是虚拟机在工作。 虚拟机:vm,java虚拟机jvm。 C语言:写源码;用文本文件写的(写出来就是一个文本文件)。 源码————编译————可执行程序。 运行平台(系统+硬件)。 C;优点:与系统接触近,可以操作系统和系统API 缺点:程序不可跨平台,内存管理十分的麻烦。 内存(运行内存)又称闪存 ———速度十分的快——(一旦掉电数据全部消失)服务器(数据服务中心)服务器运行时间很长。内存运行完要回收 Java优化:如何跨平台(在所有操作系统上运行),如何管理内存(让所有的程序员不在头疼如何管理内存) 怎样跨平台; 三大系统的内核不一样:如何让程序可以跨平台运行那【源码】————【字节码】—————【翻译官】(虚拟机),字节码交给翻译官 怎样优化内存:C语言————编译——-exe————运行 虚拟机就像一个鱼缸: 你要操作内存的话交个容器,虚拟机就像是一个管家;你不用管内存,交给管家就行了,你想要内存问这个管家要就行了。 为什么要形成字节码: 把源码转换为字节码,能让虚拟机很快的认识,运行速度就快。(加快运行速度在运行的时候不用再次解析代码了)优化速度

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册