让Spark成为你的瑞士军刀-低调大师

让Spark成为你的瑞士军刀

2016-09-10 626

4f3f3316ae438e7e87a54931efe627a4fcf6a429

依托于Spark Streaming /Spark SQL，封装了一套通过配置和SQL就能完成批处理和流式处理的引擎，这样可以很好的完成复杂的ETL处理过程，实现了数据的流转和变换。

完成了数据的流转和变换，接着就是查询了，通过对Spark SQL的封装，我现在可以任意指定多个数据源，举个例子，将ES的索引A` 命名为表A,将来自HDFS 的Parquet 文件命名为表B,这个时候我就可以写SQL作任意的处理了。用户要做的就是选择对应数据来源，接着就是完成SQL就好。

能实现上面的功能得益于Spark

统一易用的API，比如RDD/DF/DS
功能丰富的组件，比如流式计算/批处理，机器学习,强大的SQL支持

Spark 背后的Databricks公司是我见过最重视

用户API设计
对领域问题具有高度抽象和设计能力

API 我就不说了，Spark的用户层API都是经过精心设计的，RDD自然不必说，上层的DF/DS 已经很好用，在2.0又更进一步统一了DF/DS (DF 是DS 类型为Row的一个特例)，这样可以让用户进一步减少使用和理解障碍。而且机器学习相关的API 也要慢慢迁移到 DF/DS ,进一步简化用户学习和使用成本。

对领域问题的高度抽象能力，我觉得给我特别印象深刻的是机器学习相关的，几经发展，目前形成了一套完善的ML-Pipelines 的东西，结果是啥呢？机器学习通过抽象以下几个概念

Estimator
Transformer
Pipeline
Parameter
DataFrame

实现了模块化。基于之上，你可以实现配置化来完成机器学习流程。

大数据现阶段在我目前看来从功能上可划分数据处理和机器学习。从架构上而言，则是流式计算和批处理。 Spark 目前的组件已经涵盖了大部分你需要的东西。加上上面我提及的几点，用好了，你会觉得很多事情变得很简单了。

微信链接：让Spark成为你的瑞士军刀

微信关注我们

原文链接：https://yq.aliyun.com/articles/60465

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【阿里飞天】探索5K巅峰，云梯架设的飞天之梦

IDC研究显示，包含结构化和非结构化的大数据正在以每年60%的增长率持续增长，到了2020年全球数据总量将增长44倍，达到35.2ZB。而着眼国内，2013年产生的数据总量已经超过0.8ZB，两倍于2012年，相当于2009年全球的数据总量。预计到2020年，中国产生的数据总量更可能超过8.5ZB。井喷的数据在给各个机构带来数不尽机遇和财富的同时，也在存储、计算、带宽等领域给企业带来无尽的挑战。拥有数亿注册用户的阿里巴巴感受最明显——2013年3月28日，一封来自技术保障部架构师的邮件直达阿里集团最高层： “按照数据增量与未来业务增长的情况，云梯1（以Hadoop为底层的集群）系统存储和计算能力将在6月21日到达瓶颈，数据业务将会停滞，淘数据、量子等业务都会受到影响；而云梯2（以飞天为底层的集群）也有同样的问题，阿里金融的贷款业务将

2016-09-11

675

从这一章开始要讲Region Server这块的了，但是在讲Region Server这块之前得讲一下StoreFile，否则后面的不好讲下去，这块是基础，Region Sever上面的操作，大部分都是基于它来进行的。 HFile概述 HFile是HBase中实际存数据的文件，为HBase提供高效快速的数据访问。它是基于Hadoop的TFile，模仿Google Bigtable 架构中的SSTable格式。文件格式如下：文件是变长的，唯一固定的块是File Info和Trailer，如图所示，Trailer有指向其它块的指针，这些指针也写在了文件里，Index块记录了data和meta块的偏移量，meta块是可选的。下面我们从原来上来一个一个的看它们到底是啥样的，先从入口看起，那就是StoreFile.Writer的append方法，先看怎么写入的，然后它就怎么读了，不知道怎么使用这个类的，可以看看我写的这篇文章《非mapreduce生成Hfile，然后导入hbase当中》。往HFile追加KeyValue 不扯这些了，看一下StoreFile里面的append方法。 publ...

2016-09-11

622

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。