搜索[数据分析工具]结果-低调大师优秀个人博客

精选列表

搜索[数据分析工具]，共10000篇文章

《深入理解Spark:核心思想与源码分析》——1.1节运行环境准备

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第1章，第1.1节运行环境准备，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.1 运行环境准备考虑到大部分公司的开发和生成环境都采用

2017-05-01

《深入理解Spark:核心思想与源码分析》——第1章环境准备

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第1章环境准备，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看第1章环境准备凡事豫则立，不豫则废；言前定，则不跲

2017-05-01

深入理解Spark：核心思想与源码分析. 3.2 创建执行环境SparkEnv

3.2 创建执行环境SparkEnv SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecutorBackend进程中。创建SparkEnv 主要使用SparkEnv的createDriverEnv，SparkEnv.createDriverEnv方法有三个参数：conf、isLocal和 listenerBus。 val isLocal = (master == "local" || mast

2017-05-01

深入理解Spark：核心思想与源码分析. 3.7 创建和启动DAGScheduler

private[spark] var dagScheduler: DAGScheduler = _ dagScheduler = new DAGScheduler(this) DAGScheduler的数据结构主要维护

2017-05-01

《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第1章，第1.2节Spark初体验，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.2 Spark初体验本节通过

2017-05-01

《深入理解Spark:核心思想与源码分析》——1.3节阅读环境准备

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第1章，第1.3节阅读环境准备，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.3 阅读环境准备准备Spark阅读环境

2017-05-01

深入理解Spark：核心思想与源码分析. 3.9 启动测量系统MetricsSystem

MetricsSystem中有三个概念： Instance：指定了谁在使用测量系统； Source：指定了从哪里收集测量数据； Sink：指定了往哪里输出测量数据。

2017-05-01

深入理解Spark：核心思想与源码分析. 3.10 创建和启动ExecutorAllocationManager

3.10 创建和启动ExecutorAllocationManager ExecutorAllocationManager用于对已分配的Executor进行管理，创建和启动Executor-AllocationManager的代码如下。 private[spark] val executorAllocationManager: Option[ExecutorAllocationManager] = if (conf.getBoolean("spark.dynamicAllocation.enabled", false)) { Some(new ExecutorAllocationManager(this, listenerBus, conf)) } else { None } executo

2017-05-01

深入理解Spark：核心思想与源码分析. 3.13 创建DAGSchedulerSource和BlockManagerSource

3.13 创建DAGSchedulerSource和BlockManagerSource 在创建DAGSchedulerSource、BlockManagerSource之前首先调用taskScheduler的post-StartHook方法，其目的是为了等待backend就绪，见代码清单3-53。postStartHook的实现见代码清单3-54。创建DAGSchedulerSource和BlockManagerSource的过程类似于ExecutorSource，只不过DAGSchedulerSource测量的信息是stage. failedStages、stage. runningStages、stage. waiting-Stages、stage. allJobs、stage. activeJobs，BlockManager

2017-05-01

《Ceph源码分析》——第1章，第3节Ceph基本架构图

本节书摘来自华章出版社《Ceph源码分析》一书中的第1章，第1.3节Ceph基本架构图，作者常涛，更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.3 Ceph基本架构图Ceph的整体架构由三个层次组成

2017-05-01

深入理解Spark：核心思想与源码分析. 2.4 Spark基本架构

2.4 Spark基本架构从集群部署的角度来看，Spark集群由以下部分组成： Cluster Manager：Spark的集群管理器，主要负责资源的分配与管理。集群管理器分配的资源属于一级分配，它将各个Worker上的内存、CPU等资源分配给应用程序，但是并不负责对Executor的资源分配。目前，Standalone、YARN、Mesos、EC2等都可以作为Spark的集群管理器。 Worker：Spark的工作节点。对Spark应用程序来说，由集群管理器分配得到资源的Worker节点主要负责以下工作：创建Executor，将资源和任务进一步分配给Executor，同步资源信息给Cluster Manager。 Executor：执行计算任务的一线进程。主要负责任务的执行以及与Worker、Driver App的信息同步。 Drive

2017-05-01

深入理解Spark：核心思想与源码分析. 2.3 Spark基本设计思想

Spark SQL：提供SQL处理能力，便于熟悉关系型数据库操作的工程师进行交互查询。此外，还为熟悉Hadoop的用户提供Hive SQL处理能力。

2017-05-01

《深入理解Android：卷III A》一一2.2Java层中的Binder分析

1 2.2Java层中的Binder分析 2.2.1Binder架构总览如果读者读过卷I的第6章，相信就不会对Binder架构中代表Client的Bp端及代表Server的Bn端感到陌生。

2017-05-01

《深入分析GCC 》——第1章 GCC概述1.1 GCC的产生与发展

1.1 GCC的产生与发展 GCC（GNU Compiler Collection）是GNU工程（GNU Project）中的核心工具软件，其官方网址为https://gcc.gnu.org/。

2017-05-01

storm1.0节点间消息传递过久分析及调优

序:最近对storm平台系统进行性能检测发现偶尔会出现oncebolt向另一个twobolt发送数据后，twobolt要500毫秒后才接收到进行处理。

2017-03-13

【Spark Summit East 2017】使用Spark进行可伸缩的元基因组分析

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com

2017-02-17

玩儿透ELK体系大型日志分析集群方案设计.搭建.调优.管理

实时日志分析作为掌握业务情况、故障分析排查的一个重要手段，目前使用最多最成熟的莫过于ELK方案，整体方案也有各种架构组合，像(Rsyslog/filebeat/...)

2017-01-16

OVS local network 连通性分析 - 每天5分钟玩转 OpenStack（132）

前面已经创建了两个 OVS local network，今天详细分析它们之间的连通性。

2016-12-29

如何修改TextView链接点击实现(包含链接生成与点击原理分析)

3.运行&测试了解autoLink的实现既然我们可以知道设置autoLink属性就可以实现链接的自动识别与跳转，那么我们就从autoLink开始分析。

2016-12-13

iOS系统分析（二）Mach-O二进制文件解析

Data：每一个segment的具体数据都保存在这里，这里包含了具体的代码、数据等等。 0x02 FAT二进制数据，数据结构定义在 \<mach-o/fat.h\> 1.

2016-11-15

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

《深入理解Spark:核心思想与源码分析》——1.1节运行环境准备

《深入理解Spark:核心思想与源码分析》——第1章环境准备

深入理解Spark：核心思想与源码分析. 3.2 创建执行环境SparkEnv

深入理解Spark：核心思想与源码分析. 3.7 创建和启动DAGScheduler

《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验

《深入理解Spark:核心思想与源码分析》——1.3节阅读环境准备

深入理解Spark：核心思想与源码分析. 3.9 启动测量系统MetricsSystem

深入理解Spark：核心思想与源码分析. 3.10 创建和启动ExecutorAllocationManager

深入理解Spark：核心思想与源码分析. 3.13 创建DAGSchedulerSource和BlockManagerSource

《Ceph源码分析》——第1章，第3节Ceph基本架构图

深入理解Spark：核心思想与源码分析. 2.4 Spark基本架构

深入理解Spark：核心思想与源码分析. 2.3 Spark基本设计思想

《深入理解Android：卷III A》一一2.2Java层中的Binder分析

《深入分析GCC 》——第1章 GCC概述1.1 GCC的产生与发展

storm1.0节点间消息传递过久分析及调优

【Spark Summit East 2017】使用Spark进行可伸缩的元基因组分析

玩儿透ELK体系大型日志分析集群方案设计.搭建.调优.管理

OVS local network 连通性分析 - 每天5分钟玩转 OpenStack（132）

如何修改TextView链接点击实现(包含链接生成与点击原理分析)

iOS系统分析（二）Mach-O二进制文件解析

资源下载

Mario

Nacos

Sublime Text

WebStorm

欢迎您来访！