首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/188187

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

我们需要什么样的ETL?

从10年前的数据仓库到当前的大数据平台,ETL也需要与时俱进,这里来谈谈个人的理解,如果你在考虑建设新的企业级ETL平台,可以作为参考: 一、定位的重新认识 ETL作为传统数据仓库的底层技术组件,主要是服务于数据采集的,因此,一般数据流动往往是单向的,但在新的时期,我们需要拓展其概念的内涵,从ETL升级到交换,以适应更多的应用场景,这是大数据平台规划人员特别需要考虑的。 但我们看到,在很多企业PaaS平台级的研发中,并未将交换其纳入产品的核心功能,为什么? ETL出来之时,的确适应了数据仓库建设的需要,毕竟系统建设之初,数据采集和整合为王, 技术驱动业务,没什么好说的。 但在大数据时代,需要与时俱进,基于笔者的实践,感觉开放的交换平台将是未来标配,原因有以下几个: 从业务角度讲, 随着数据应用的日益丰富,不同平台、系统的相互大批量数据交互成常态,仅仅满足于采集数据已经不适应业务需要,还需要能够为数据的目的端落地提供支撑,我们需要一个端到端的更适应业务需要的交换系统,而不是只管自己一亩三分地的ETL系统, 比如浙江移动的日常的数据交换应用早就超过了简单的数据采集需求,业务始终为王。 从技...

新型数据准备工具来袭 你还在使用传统数据仓库架构吗?

越来越多的业务分析师正在提升自身编写临时查询和分析算法的能力。这些临时查询和分析算法用来寻找企业数据存储中的有用信息,为企业做业务决策时提供更多数据。随着企业员工越来越精通于使用分析工具,他们当中越来越多的人发现,传统的数据仓库架构阻碍了他们分析某些重要数据的能力。 新兴的自助型数据准备工具可以帮助业务分析师、数据科学家和其他最终用户绕过数据仓库,完成数据集成和制备过程的关键部分。而我们说数据仓库对此造成了阻碍的主要原因有以下三点。 首先,传统的数据仓库通常是一个存储库,其数据来自内部事务处理,或者用于生成业务性能报告的运营系统。这限制了在数据上所进行分析的范围和类型。 其次,传统的数据仓库用于提取的数据集合是高度集成和标准化的,它使用了一整套的业务规则,结合了一个预定义的易于维度分割的数据模型。这样做可能会过滤掉与特定分析应用程序相关的某些信息。 第三,IT团队通常负责开发规则和流程,以确保数据以正确的方式存储到数据仓库中,这种方法同样可能无法满足分析人士的最终分析需求。 显然,传统的数据仓库的规范流程在过去很适合于企业,但数据的应用场景正在迅速改变。企业越来越需要将他们的交易数据与...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册