数智化时代合格数据架构师如何养成?
前言:
更多关于数智化转型、数据中台内容可扫码加群一起探讨
阿里云数据中台官网 https://dp.alibaba.com/index
正文:
(来源:数据从业者 )
文章将从云计算基建、大数据基建、数据构建、数据管理、数据应用5个角度,阐述数据架构师的必备技能和素养。
云计算基建
传统的IT架构已存在几十年,随着企业业务的快速发展,对于业务的可用性要求越来越高,对于成本的压力也越来大。是否存在一种方式能以更低成本、更高性能和可用性的方式支持新时代的企业信息化要求?
部分互联网公司由于自身业务快速发展的原因,做了大量尝试。阿里巴巴率先发起的“去IOE运动”:将IBM机器替换成云上服务器,将ORACLE数据库替换成云上数据库,将EMC存储替换成云上存储服务器。带来的不仅仅是成本的降低,同时也提供了更加稳定、安全的环境。云计算作为信息时代的水、电、
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
EMR Spark-SQL性能极致优化揭秘 RuntimeFilter Plus
作者:陆路,花名世仪,阿里巴巴计算平台事业部EMR团队高级开发工程师,大数据领域技术爱好者,对Spark、Hive等有浓厚兴趣和一定的了解,目前主要专注于EMR产品中开源计算引擎的优化工作。 背景介绍 TPC-DS 测试集采用星型和雪花型等多维数据模型,包含 7 张事实表和 17 张维度表,以 store channel 为例,事实表和维度表的关联关系如下所示: 分析 TPC-DS 全部 99 个查询语句不难发现,绝大部分语句的过滤条件都不是直接作用于事实表,而是通过过滤维度表并将结果集与事实表 join 来间接完成。因此,优化器很难直接利用事实表索引来减少数据扫描量。如何利用好查询执行时的维度表过滤信息,并将这些信息下推至存储层来完成事实表的过滤,对于性能提升至关重要。 在 2019 年的打榜测试中,我们基于 Spark SQL Cat
- 下一篇
Salesforce集成:在架构层面上需要考虑的5个问题
无论是将 Salesforce 中其他部门的数据和旧系统(SAP、Oracle、Microsoft 等无所不包)中的数据实时合并为 Salesforce 对象,还是系统集成后台其他办公系统、社区等,你都需要一个集成工具。而一个统一的、面向未来的平台,可以实现多种类型的集成,包括 API 集成、数据集成、业务逻辑集成和用户界面集成。 如何从您的Salesforce集成解决方案中获得最大收益?尽管所有组织和应用程序都是不同的,但是建议您在设计Salesforce集成解决方案时在架构层面上考虑以下几个问题。 1.牢记Org策略“Org”是我们所称的Salesforce的一个特定实例。在许多组织中,跨不同业务部门有多个Orgs在使用,并且许多Orgs之间需要连接。虽然从技术上讲,这可以通过各种方式实现,但从战略角度来看,了解Salesforce Orgs 本身的整合或持续分离的长期计划是值得的。我们称之为“Org策略”。 在大多数情况下,漫长的映射是不可行的,但是,花时间去考虑Org策略是值得的,因为它促使我们思考一些关键性的问题,例如:• 对于Org我们的策略是什么?当前的结构是否支持或阻碍...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- Hadoop3单机部署,实现最简伪集群
- CentOS8编译安装MySQL8.0.19
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程