数智化时代合格数据架构师如何养成？

2020-05-17 761

前言：
更多关于数智化转型、数据中台内容可扫码加群一起探讨

阿里云数据中台官网 https://dp.alibaba.com/index

正文：
（来源：数据从业者）

文章将从云计算基建、大数据基建、数据构建、数据管理、数据应用5个角度，阐述数据架构师的必备技能和素养。

云计算基建

传统的IT架构已存在几十年，随着企业业务的快速发展，对于业务的可用性要求越来越高，对于成本的压力也越来大。是否存在一种方式能以更低成本、更高性能和可用性的方式支持新时代的企业信息化要求？
部分互联网公司由于自身业务快速发展的原因，做了大量尝试。阿里巴巴率先发起的“去IOE运动”：将IBM机器替换成云上服务器，将ORACLE数据库替换成云上数据库，将EMC存储替换成云上存储服务器。带来的不仅仅是成本的降低，同时也提供了更加稳定、安全的环境。云计算作为信息时代的水、电、

微信关注我们

原文链接：https://yq.aliyun.com/articles/761308

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

EMR Spark-SQL性能极致优化揭秘 RuntimeFilter Plus

作者：陆路，花名世仪，阿里巴巴计算平台事业部EMR团队高级开发工程师，大数据领域技术爱好者，对Spark、Hive等有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。背景介绍 TPC-DS 测试集采用星型和雪花型等多维数据模型，包含 7 张事实表和 17 张维度表，以 store channel 为例，事实表和维度表的关联关系如下所示：分析 TPC-DS 全部 99 个查询语句不难发现，绝大部分语句的过滤条件都不是直接作用于事实表，而是通过过滤维度表并将结果集与事实表 join 来间接完成。因此，优化器很难直接利用事实表索引来减少数据扫描量。如何利用好查询执行时的维度表过滤信息，并将这些信息下推至存储层来完成事实表的过滤，对于性能提升至关重要。在 2019 年的打榜测试中，我们基于 Spark SQL Cat

2020-05-10

701

无论是将 Salesforce 中其他部门的数据和旧系统（SAP、Oracle、Microsoft 等无所不包）中的数据实时合并为 Salesforce 对象，还是系统集成后台其他办公系统、社区等，你都需要一个集成工具。而一个统一的、面向未来的平台，可以实现多种类型的集成，包括 API 集成、数据集成、业务逻辑集成和用户界面集成。如何从您的Salesforce集成解决方案中获得最大收益？尽管所有组织和应用程序都是不同的，但是建议您在设计Salesforce集成解决方案时在架构层面上考虑以下几个问题。 1.牢记Org策略“Org”是我们所称的Salesforce的一个特定实例。在许多组织中，跨不同业务部门有多个Orgs在使用，并且许多Orgs之间需要连接。虽然从技术上讲，这可以通过各种方式实现，但从战略角度来看，了解Salesforce Orgs 本身的整合或持续分离的长期计划是值得的。我们称之为“Org策略”。在大多数情况下，漫长的映射是不可行的，但是，花时间去考虑Org策略是值得的，因为它促使我们思考一些关键性的问题，例如：• 对于Org我们的策略是什么?当前的结构是否支持或阻碍...

2020-05-17

727

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

数智化时代合格数据架构师如何养成？

云计算基建

EMR Spark-SQL性能极致优化揭秘 RuntimeFilter Plus

Salesforce集成：在架构层面上需要考虑的5个问题

相关文章

发表评论

资源下载

Spring

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！