数据蒋堂 | 开放的计算能力为数据库瘦身-低调大师

数据蒋堂 | 开放的计算能力为数据库瘦身

2017-07-31 611

我们在上一期谈到，数据库的臃肿，也就是过多的中间表以及相关存储过程，是由于其计算封闭性造成的。如果能够实现独立的计算引擎，使计算不再依赖于数据库提供，那么就可以为数据库瘦身了。

内部来源的中间数据不必再以数据表的形式落地在数据库中，而可以放到文件系统中，由外部计算引擎提供进一步的计算能力。对于只读的中间数据，使用文件存储时不需要考虑再改写，可以更为紧致并采用一定的压缩手段，而且在访问时也不必考虑事务一致性，机制大为简化，这样能获得比数据库更好的吞吐性能。文件系统还可以采用树形组织方案，将各个应用（模块）的中间数据分类管理好，使其更加方便，并且可使中间数据将从属于应用模块，不会被其它模块访问到。当有模块修改或下线时，相应的中间数据可以跟随修改，而不必担心被共享而产生的耦合问题。用于生成中间数据的存储过程也可以移到数据库外部，作为应用程

微信关注我们

原文链接：https://yq.aliyun.com/articles/223621

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

美团Apache Kylin精确去重指标优化历程

康凯森，美团点评大数据工程师，Apache Kylin commiter，目前主要负责Apache Kylin在美团点评的平台化建设。问题背景本文记录了我将Apache Kylin超高基数的精确去重指标查询提速数十倍的过程，大家有任何建议或者疑问欢迎讨论。某业务方的cube有12个维度，35个指标，其中13个是精确去重指标，并且有一半以上的精确去重指标单天基数在千万级别，cube单天数据量1.5亿行左右。业务方一个结果仅有21行的精确去重查询竟然耗时12秒多，其中HBase端耗时6秒多，Kylin的query server端耗时5秒多: SELECTA,B,count(distinctuuid),FROMtableWHEREdt=17150GROUPBYA,B 精确去重指标已经在美团点评生产环境大规模使用，我印象中精确去重的查询的确比普通的Sum指标慢一点，但也挺快的。这个查询慢的如此离谱，我就决定分析一下，这个查询到底慢在哪。优化1 将精确去重指标拆分HBase列族我首先确认了这个cube的维度设计是合理的，这个查询也精准匹配了cuboid，并且在HBase端也只扫描了21...

2017-08-01

584

下载编译在git上下载合适的master分支，使用maven编译。执行编译的目的在于，确保过程中生成的代码(Thrift)已经生成，这样导入IDEA就不会出现有些类找不到的情况。执行源码编译分发命令，进入源码根目录执行： mvncleanpackage-Phadoop-2-DskipTests-Pdist 这里必须指定profile为hadoop-2来支持hadoop 2.x版本 1、后续更改完源码后，还需执行该命令来编译打包。源码更改后需评价其对Hive各模块的影响(改动代码多的话可通过pom的依赖来看)，如果影响的模块非常少，可以直接进入相应的模块进行上述命令的编译打包，如果影响模块很多，则直接在Hive源码根目录进行编译打包。 2、打完包后，将受影响的包进行线上替换，重启受影响的组件即可应用上改后的代码。如果在CDH环境，要注意所有YARN的节点都需进行包的替换，因为Hive的MR任务启动后，节点上Container的启动其核心包是加载的本地jar包，而不是HDFS上的jar包。导入IDEA进行源码阅读修改在Intellij里打开编译后的工程，它是一个Maven工程，软件...

2017-08-01

773

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。