首页 文章 精选 留言 我的

精选列表

搜索[权限与责任]，共10000篇文章
优秀的个人博客,低调大师

深入理解Spark：核心思想与源码分析. 1.3 阅读环境准备

1.3 阅读环境准备 准备Spark阅读环境，同样需要一台好机器。笔者调试源码的机器的内存是8 GB。源码阅读的前提是在IDE环境中打包、编译通过。常用的IDE有IntelliJ IDEA、Eclipse。笔者选择用Eclipse编译Spark，原因有二：一是由于使用多年对它比较熟悉，二是社区中使用Eclipse编译Spark的资料太少，在这里可以做个补充。在Windows系统编译Spark源码，除了安装JDK外，还需要安装以下工具。 （1）安装Scala 由于Spark 1.20版本的sbt里指定的Scala版本是2.10.4，具体见Spark源码目录下的文件\project\plugins.sbt，其中有一行：scalaVersion := "2.10.4"。所以选择下载scala-2.10.4.msi，下载地址：http://ww
2017-05-01
优秀的个人博客,低调大师

深入理解Spark：核心思想与源码分析. 1.2 Spark初体验

1.2 Spark初体验 本节通过Spark的基本使用，让读者对Spark能有初步的认识，便于引导读者逐步深入学习。 1.2.1 运行spark-shell 要运行spark-shell，需要先对Spark进行配置。 1）进入Spark的conf文件夹： cd ~/install/spark-1.2.0-bin-hadoop1/conf 2）复制一份spark-env.sh.template，命名为spark-env.sh，对它进行编辑，命令如下： cp spark-env.sh.template spark-env.sh vim spark-env.sh 3）添加如下配置： export SPARK_MASTER_IP=127.0.0.1 export SPARK_LOCAL_IP=127.0.0.1 4）启动spark-shell： cd ~/inst
2017-05-01
优秀的个人博客,低调大师

深入理解Spark：核心思想与源码分析. 3.8 TaskScheduler的启动

3.8 TaskScheduler的启动 3.6节介绍了任务调度器TaskScheduler的创建，要想TaskScheduler发挥作用，必须要启动它，代码如下。 taskScheduler.start() TaskScheduler在启动的时候，实际调用了backend的start方法。 override def start() { backend.start() } 以LocalBackend为例，启动LocalBackend时向actorSystem注册了LocalActor，见代码清单3-30所示。 3.8.1 创建LocalActor 创建LocalActor的过程主要是构建本地的Executor，见代码清单3-36。 代码清单3-36 LocalActor的实现 private[spark] class Local
2017-05-01
优秀的个人博客,低调大师

深入理解Spark：核心思想与源码分析. 3.12 Spark环境更新

3.12 Spark环境更新 在SparkContext的初始化过程中，可能对其环境造成影响，所以需要更新环境，代码如下。 postEnvironmentUpdate() postApplicationStart() SparkContext初始化过程中，如果设置了spark.jars属性， spark.jars指定的jar包将由addJar方法加入httpFileServer的jarDir变量指定的路径下。spark.files指定的文件将由addFile方法加入httpFileServer的fileDir变量指定的路径下。见代码清单3-49。 代码清单3-49 依赖文件处理 val jars: Seq[String] = conf.getOption("spark.jars").map(_.split(",")).map(_.fil
2017-05-01
优秀的个人博客,低调大师

Docker技术入门与实战（第2版）1.2 为什么要使用Docker

1.2 为什么要使用Docker 1.?Docker容器虚拟化的好处 Docker项目的发起人和Docker公司CTO Solomon Hykes曾认为，Docker在正确的地点、正确的时间顺应了正确的趋势——如何正确地构建应用。 在云时代，开发者创建的应用必须要能很方便地在网络上传播，也就是说应用必须脱离底层物理硬件的限制；同时必须是“任何时间、任何地点”可获取的。因此，开发者需要一种新型的创建分布式应用程序的方式，快速分发和部署，这正是Docker所能够提供的最大优势。 举个简单的例子，假设用户试图基于最常见的LAMP（Linux+Apache+MySQL+PHP）组合来构建一个网站。按照传统的做法，首先，需要安装Apache、MySQL和PHP以及它们各自运行所依赖的环境；之后分别对它们进行配置（包括创建合适的用户、配置参数等）；经
2017-05-01
优秀的个人博客,低调大师

Docker技术入门与实战（第2版）3.6 存出和载入镜像

3.6 存出和载入镜像 用户可以使用docker save和docker load命令来存出和载入镜像。 1.?存出镜像 如果要导出镜像到本地文件，可以使用docker save命令。例如，导出本地的ubuntu: 14.04镜像为文件ubuntu_14.04.tar，如下所示： $ docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE ubuntu 14.04 8f1bd21bd25c 2 weeks ago 188 MB ... $ docker save -o ubuntu_14.04.tar ubuntu:14.04 之后，用户就可以通过复制ubuntu_14.0
2017-05-01

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-04-11 大小: 211.28KB 下载: 56次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册