Spark在云原生时代的发展-低调大师

Spark在云原生时代的发展

2020-04-19 695

作者：邵赛赛
转载自公众号：数据湖技术
原文链接：https://mp.weixin.qq.com/s/dgLrh2GqnMu1rRqYpCtjoA

前言

在ABC (AI, BigData, Cloud)时代，传统的大数据解决方案和厂商 (Cloudera, Hortonworks) 略显颓势，而云厂商 (AWS, Azure, GCP) 和云原生解决方案 (Databricks Cloud, Snowflake, ElasticSearch等) 则愈加迸发出活力。在这个云原生的时代拥抱云变成了不二之选，那么对于Spark[1]来说它是如何在云原生时代积极拥抱云的呢？

背景

10多年前，Google的3篇论文拉开了大数据时代的大幕，这3篇论文不仅从理论上详尽地阐述了分布式大数据的经典算法，更从工程上解决了普通商业硬件的分布式架构之道，同时也

微信关注我们

原文链接：https://yq.aliyun.com/articles/756241

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

mongoHelper 0.2.5 发布，spring-data-mongodb 增强工具包

mongoHelper 是基于 spring-data-mongodb 的增强工具包，简化 CRUD 操作，提供类 jpa 的数据库操作。传统关系型数据库及围绕它们构建的 orm 在项目开发中有很多难用的痛点，而 mongodb 这种文档性数据库的出现，完美的解决了 sql 数据库在项目开发中的诸多痛点，在 mongodb4.0 以后支持了事务，已经可以完美的用于工程项目。spring-data-mongodb 已经对 mongodb 的操作做了一部分封装，但依然不够用，Query 与 Criteria 的操作依然有比较大的局限性，而且对于习惯 sql 操作和 sql orm 的人来说，其使用法则依然稍显别扭。mongoHelper 对 spring-data-mongodb 又进行了进一步封装，补充了 mysql 有但 mongodb 没有的特性，比如字段默认值，使其更易于使用，更接近与关系型数据库 orm 库，并添加了很多易于项目管理的功能。更多关于mongoHelper的特性以及本人对sql与nosql在工程项目领域的思辨，请移步码云页面，有更进一步详细的说明 https:/...

2020-04-20

563

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！如果要问最近几年，IT行业哪个技术方向最火?一定属于ABC，即AI + Big Data + Cloud，也就是人工智能、大数据和云计算。这几年，随着互联网大潮走向低谷，同时传统企业纷纷进行数字化转型，基本各个公司都在考虑如何进一步挖掘数据价值，提高企业的运营效率。在这种趋势下，大数据技术越来越重要。所以，AI时代，还不了解大数据就真的OUT了! 相比较AI和云计算，大数据的技术门槛更低一些，而且跟业务的相关性更大。我个人感觉再过几年，大数据技术将会像当前的分布式技术一样，变成一项基本的技能要求。前几天，我在团队内进行了一次大数据的技术分享，重点是对大数据知识做一次扫盲，同时提供一份学习指南。这篇文章，我基于分享的内容再做一次系统性整理，希望对大数据方向感兴趣的同学有所帮助，内容分成以下5个部分： 1、大数据的发展历史2、大数据的核心概念3、大数据平台的通用架构和技术体系4、大数据的通用处理流程5、大数据下的数仓体系架构 01 大数据的发展历史在解释「大数据」这个概念之前，先带大家...

2020-04-20

613

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。