spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用）（以...-低调大师

spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用）（以...

2016-12-31 653

前言

　其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。

　　本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。

　　好一段时间之前，写过这篇博客

　　最近开始进行更新，希望能帮助到开发的你。

下载源码

　　去github官网下载

　　spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse适用）（以spark2.2.0源码包为例）

　　然后解压缩为目录，scalaIDE不支持tgz的文件关联，只支持jar，zip。

　　那么就使用文件目录关联就可以了，关联spark2.0的目录就可以了，很简单。

　　比如，我这里放在D:\SoftWare

　　我这里为了区分，自己改名为spark-2.2.0-src

spark最新源码下载并导入到开发环境下助推高质量代码(IntelliJ IDEA适用）（以spark2.2.0源码包为例）

　　　　前期博客，见

方式1

方式2

如果是maven方式来导入源码的话

点击进去，为什么会报红错误，maven没改

所以，个人建议，还是maven方式好啊

方式3

　　　　如果是Scala IDEA for Eclipse，则比如把spark-1.6.1

经过解压，我这里特意改下名字，为spark-1.6.1-src

注意：这不局限于spark，比如Hadoop、Hive、HBase....等其他大数据组件的源码一样的步骤，这里不多赘述。当然其他人肯定也有其他的步骤来阅读。

比如，说在IDEA里可以直接点击进去，maven会自动下载等，这个我不多评论。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7457352.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/363762

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Kudu的优点

Kudu目前具有以下优点 OLAP 工作的快速处理；与 MapReduce，Spark 和其他 Hadoop 生态系统组件集成；与 Apache Impala（incubating）紧密集成，使其与 Apache Parquet 一起使用 HDFS 成为一个很好的可变的替代方案；强大而灵活的一致性模型，允许您根据每个 per-request（请求选择）一致性要求，包括 strict-- serializable（严格可序列化）一致性的选项；针对同时运行顺序和随机工作负载的情况性能很好；使用 Cloudera Manager 轻松维护和管理； High availability（高可用性）。Tablet server 和 Master 使用 Raft Consensus Algorithm 来保证节点的 -- 高可用，确保只要有一半以上的副本可用，该 tablet 便可用于读写。例如，如果 3 个副本中有 2 个或 5 个副本中的 3 个可用，则该 tablet 可用。即使在 leader tablet 出现故障的情况下，读取功能也可以通过 read-only（只读的）foll...

2017-01-01

753

　简单的说Cuboid的维度会映射为HBase的Rowkey，Cuboid的指标会映射为HBase的Value。 Cube映射成HBase存储如上图原始表所示：Hive表有两个维度列year和city，有一个指标列price。如上图预聚合表所示：我们具体要计算的是year和city这两个维度所有维度组合（即4个cuboid）下的sum(priece)指标，这个指标的具体计算过程就是由MapReduce完成的。如上图字典编码所示：为了节省存储资源，Kylin对维度值进行了字典编码。图中将beijing和shanghai依次编码为0和1。如上图HBase KV存储所示：在计算cuboid过程中，会将Hive表的数据转化为HBase的KV形式。Rowkey的具体格式是cuboid id + 具体的维度值（最新的Rowkey中为了并发查询还加入了ShardKey），以预聚合表内容的第2行为例，其维度组合是（year，city），所以cuboid id就是00000011，cuboid是8位，具体维度值是1994和shanghai，所以编码后的维度值对应上图的字典编码也是11，所以HB...

2017-01-01

738

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。