让Spark成为你的瑞士军刀-低调大师

让Spark成为你的瑞士军刀

2016-09-10 651

4f3f3316ae438e7e87a54931efe627a4fcf6a429

依托于Spark Streaming /Spark SQL，封装了一套通过配置和SQL就能完成批处理和流式处理的引擎，这样可以很好的完成复杂的ETL处理过程，实现了数据的流转和变换。

完成了数据的流转和变换，接着就是查询了，通过对Spark SQL的封装，我现在可以任意指定多个数据源，举个例子，将ES的索引A` 命名为表A,将来自HDFS 的Parquet 文件命名为表B,这个时候我就可以写SQL作任意的处理了。用户要做的就是选择对应数据来源，接着就是完成SQL就好。

能实现上面的功能得益于Spark

统一易用的API，比如RDD/DF/DS
功能丰富的组件，比如流式计算/批处理，机器学习,强大的SQL支持

Spark 背后的Databricks公司是我见过最重视

用户API设计
对领域问题具有高度抽象和设计能力

API 我就不说了，Spark的用户层API都是经过精心设计的，RDD自然不必说，上层的DF/DS 已经很好用，在2.0又更进一步统一了DF/DS (DF 是DS 类型为Row的一个特例)，这样可以让用户进一步减少使用和理解障碍。而且机器学习相关的API 也要慢慢迁移到 DF/DS ,进一步简化用户学习和使用成本。

对领域问题的高度抽象能力，我觉得给我特别印象深刻的是机器学习相关的，几经发展，目前形成了一套完善的ML-Pipelines 的东西，结果是啥呢？机器学习通过抽象以下几个概念

Estimator
Transformer
Pipeline
Parameter
DataFrame

实现了模块化。基于之上，你可以实现配置化来完成机器学习流程。

大数据现阶段在我目前看来从功能上可划分数据处理和机器学习。从架构上而言，则是流式计算和批处理。 Spark 目前的组件已经涵盖了大部分你需要的东西。加上上面我提及的几点，用好了，你会觉得很多事情变得很简单了。

微信链接：让Spark成为你的瑞士军刀

微信关注我们

原文链接：https://yq.aliyun.com/articles/60465

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【阿里飞天】探索5K巅峰，云梯架设的飞天之梦

IDC研究显示，包含结构化和非结构化的大数据正在以每年60%的增长率持续增长，到了2020年全球数据总量将增长44倍，达到35.2ZB。而着眼国内，2013年产生的数据总量已经超过0.8ZB，两倍于2012年，相当于2009年全球的数据总量。预计到2020年，中国产生的数据总量更可能超过8.5ZB。井喷的数据在给各个机构带来数不尽机遇和财富的同时，也在存储、计算、带宽等领域给企业带来无尽的挑战。拥有数亿注册用户的阿里巴巴感受最明显——2013年3月28日，一封来自技术保障部架构师的邮件直达阿里集团最高层： “按照数据增量与未来业务增长的情况，云梯1（以Hadoop为底层的集群）系统存储和计算能力将在6月21日到达瓶颈，数据业务将会停滞，淘数据、量子等业务都会受到影响；而云梯2（以飞天为底层的集群）也有同样的问题，阿里金融的贷款业务将

2016-09-11

696

从这一章开始要讲Region Server这块的了，但是在讲Region Server这块之前得讲一下StoreFile，否则后面的不好讲下去，这块是基础，Region Sever上面的操作，大部分都是基于它来进行的。 HFile概述 HFile是HBase中实际存数据的文件，为HBase提供高效快速的数据访问。它是基于Hadoop的TFile，模仿Google Bigtable 架构中的SSTable格式。文件格式如下：文件是变长的，唯一固定的块是File Info和Trailer，如图所示，Trailer有指向其它块的指针，这些指针也写在了文件里，Index块记录了data和meta块的偏移量，meta块是可选的。下面我们从原来上来一个一个的看它们到底是啥样的，先从入口看起，那就是StoreFile.Writer的append方法，先看怎么写入的，然后它就怎么读了，不知道怎么使用这个类的，可以看看我写的这篇文章《非mapreduce生成Hfile，然后导入hbase当中》。往HFile追加KeyValue 不扯这些了，看一下StoreFile里面的append方法。 publ...

2016-09-11

655

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。