数据蒋堂 | 开放的计算能力为数据库瘦身-低调大师

数据蒋堂 | 开放的计算能力为数据库瘦身

2017-07-31 640

我们在上一期谈到，数据库的臃肿，也就是过多的中间表以及相关存储过程，是由于其计算封闭性造成的。如果能够实现独立的计算引擎，使计算不再依赖于数据库提供，那么就可以为数据库瘦身了。

内部来源的中间数据不必再以数据表的形式落地在数据库中，而可以放到文件系统中，由外部计算引擎提供进一步的计算能力。对于只读的中间数据，使用文件存储时不需要考虑再改写，可以更为紧致并采用一定的压缩手段，而且在访问时也不必考虑事务一致性，机制大为简化，这样能获得比数据库更好的吞吐性能。文件系统还可以采用树形组织方案，将各个应用（模块）的中间数据分类管理好，使其更加方便，并且可使中间数据将从属于应用模块，不会被其它模块访问到。当有模块修改或下线时，相应的中间数据可以跟随修改，而不必担心被共享而产生的耦合问题。用于生成中间数据的存储过程也可以移到数据库外部，作为应用程

微信关注我们

原文链接：https://yq.aliyun.com/articles/223621

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

美团Apache Kylin精确去重指标优化历程

康凯森，美团点评大数据工程师，Apache Kylin commiter，目前主要负责Apache Kylin在美团点评的平台化建设。问题背景本文记录了我将Apache Kylin超高基数的精确去重指标查询提速数十倍的过程，大家有任何建议或者疑问欢迎讨论。某业务方的cube有12个维度，35个指标，其中13个是精确去重指标，并且有一半以上的精确去重指标单天基数在千万级别，cube单天数据量1.5亿行左右。业务方一个结果仅有21行的精确去重查询竟然耗时12秒多，其中HBase端耗时6秒多，Kylin的query server端耗时5秒多: SELECTA,B,count(distinctuuid),FROMtableWHEREdt=17150GROUPBYA,B 精确去重指标已经在美团点评生产环境大规模使用，我印象中精确去重的查询的确比普通的Sum指标慢一点，但也挺快的。这个查询慢的如此离谱，我就决定分析一下，这个查询到底慢在哪。优化1 将精确去重指标拆分HBase列族我首先确认了这个cube的维度设计是合理的，这个查询也精准匹配了cuboid，并且在HBase端也只扫描了21...

2017-08-01

604

下载编译在git上下载合适的master分支，使用maven编译。执行编译的目的在于，确保过程中生成的代码(Thrift)已经生成，这样导入IDEA就不会出现有些类找不到的情况。执行源码编译分发命令，进入源码根目录执行： mvncleanpackage-Phadoop-2-DskipTests-Pdist 这里必须指定profile为hadoop-2来支持hadoop 2.x版本 1、后续更改完源码后，还需执行该命令来编译打包。源码更改后需评价其对Hive各模块的影响(改动代码多的话可通过pom的依赖来看)，如果影响的模块非常少，可以直接进入相应的模块进行上述命令的编译打包，如果影响模块很多，则直接在Hive源码根目录进行编译打包。 2、打完包后，将受影响的包进行线上替换，重启受影响的组件即可应用上改后的代码。如果在CDH环境，要注意所有YARN的节点都需进行包的替换，因为Hive的MR任务启动后，节点上Container的启动其核心包是加载的本地jar包，而不是HDFS上的jar包。导入IDEA进行源码阅读修改在Intellij里打开编译后的工程，它是一个Maven工程，软件...

2017-08-01

796

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。