搜索[数仓建模]结果-低调大师优秀个人博客

精选列表

搜索[数仓建模]，共10009篇文章

偶数科技获近 2 亿元 B+ 轮投资，引领云数仓赛道

偶数科技是一家总部位于北京的云原生数据仓库和 AI 产品公司，其自主研发的 OushuDB 是一款高性能云原生数据仓库，可以用于构建企业核心数仓、数据集市、实时数仓和湖仓一体数据平台。

2021-08-25

入选首个Forrester云数仓研究报告，“后起之秀”DataWorks有何魔力？

这是Forrester Wave首次发布关于云数仓解决方案（Cloud Data Warehouse，简称CDW）的测评。

2018-11-15

代码建模

ylbtech-Miscellaneos: 代码建模 A,返回顶部 1, 利用以代码为中心的开发和建模实现成功的代码重用在分析现有代码的过程中，建模是一个关键步骤，建模帮助您作出有关应该重用哪些代码的决策

2017-09-04

（二）一文读懂数仓设计的核心规范：从层次、类型到生命周期

《新兴数据湖仓设计与实践手册·数据湖仓建模及模型命名规范（2025年）》由四篇递进式指南组成，以“模型架构—公共规范—分层规范—命名规范”为主线，系统构建可演进、可治理、可共享的现代数据湖仓。

2025-09-10

PieCloudDB 3.0 正式发布丨数仓虚拟化技术为数据要素流转注入创新动能

拓数派创始人兼CEO冯雷（Ray Von）携产品团队重磅发布云原生虚拟数仓PieCloudDB Database3.0版本，并分享了数仓虚拟化技术的最新成果与其在数据要素产业的最佳实践。

2024-03-15

数仓性能调优：row_number() over(p)-rn=1性能瓶颈发现和改写套路

本文分享自华为云社区《GaussDB(DWS)性能调优：row_number() over(p)-rn=1性能瓶颈发现和改写套路》，作者：Zawami 。 1、改写场景本套路应用于子查询中含有row_number() over(partition by order by) rn，并仅把rn列用于分类排序后筛选最大值的场景。 2、性能分析 GaussDB中SQL语句的执行很多时候是流式的，即对每一条数据进行流水加工，各层算子同时在执行，缩短执行耗时。但是在一些场景下，需要先取得前一个算子的全部结果集，然后才能够进行下一步的加工；窗口函数就是其中的一种。观察执行计划可以看到，SQL会在计算得到rn列后，再同本层查询其它列进行关联。由于存在窗口函数，必须先把51号算子先执行完，然后才能进行关联，造成性能瓶颈。通过去窗口函数改写，我们可以使得分类汇总同明细数据之间的关联流水执行。改写前局部SQL SELECT PROD_EN_NAME, PROD_LIFE_CYCLE_STATUS FROM ( SELECT PROD_EN_NAME, LIFE_CYCLE AS PROD_LIFE_CYCLE_STATUS, DEL_FLAG, ROW_NUMBER ( ) OVER ( PARTITION BY PROD_EN_NAME ORDER BY RUN_DATE DESC ) RN FROM DMISC.DM_DIM_INV_PROD_ATTRI_SNAP_D WHERE DATA_TYPE = 1 AND DEL_FLAG = 'N' AND RUN_DATE <= CAST ( '2023-06-11' || ' 00:00:00' AS TIMESTAMP ) ) WHERE RN = 1 改写后局部SQL WITH T AS ( SELECT PROD_EN_NAME, MAX ( LIFE_CYCLE ) AS PROD_LIFE_CYCLE_STATUS, RUN_DATE FROM DMISC.DM_DIM_INV_PROD_ATTRI_SNAP_D WHERE DATA_TYPE = 1 AND DEL_FLAG = 'N' AND RUN_DATE <= CAST ( '2023-06-11' || ' 00:00:00' AS TIMESTAMP ) GROUP BY PROD_EN_NAME, RUN_DATE ) SELECT PROD_EN_NAME, PROD_LIFE_CYCLE_STATUS FROM T WHERE (PROD_EN_NAME, RUN_DATE) IN (SELECT PROD_EN_NAME, MAX(RUN_DATE) FROM T GROUP BY PROD_EN_NAME) 改写解析：这里先把数据根据原SQL中row_number() over()的partition列和order列进行去重，由于原SQL未定义LIFE_CYCLE的排序方式，改写既可以使用MAX也可以使用MIN函数来进行聚合。然后再对去重后的数据进行过滤，过滤条件显然。使用这种修改方法，修改前后的全量执行计划已在附件中给出。这种改写方式解决了上层算子等窗口函数的问题。我们发现，一些业务场景下对不涉及聚合的其它列，比如上面例子中的LIFE_CYCLE并不敏感，且还需要进行进一步聚合的，那么对本层子查询中的去重其实没有硬性需求。可以进一步去除这层去重。 WITH T AS ( SELECT PROD_EN_NAME, LIFE_CYCLE AS PROD_LIFE_CYCLE_STATUS, RUN_DATE FROM DMISC.DM_DIM_INV_PROD_ATTRI_SNAP_D WHERE DATA_TYPE = 1 AND DEL_FLAG = 'N' AND RUN_DATE <= CAST ( '2023-06-11' || ' 00:00:00' AS TIMESTAMP ) ) SELECT PROD_EN_NAME, PROD_LIFE_CYCLE_STATUS FROM T WHERE (PROD_EN_NAME, RUN_DATE) IN (SELECT PROD_EN_NAME, MAX(RUN_DATE) FROM T GROUP BY PROD_EN_NAME) 改写后执行计划如下：可以看到，执行计划中虽然51层算子只快了200ms，但由于减少阻塞，1~7层算子的执行时间缩短了，总体比原先快了约480ms。附件：供应链-88-PLAN.txt 附件：供应链-88-改-PLAN.txt 点击关注，第一时间了解华为云新鲜技术~

2023-11-28

qData 数据中台开源版 v1.2.0 发布：数仓分层管理落地，SQL 性能深度重构！

本次更新，我们不仅带来了规范化的数据建模体系，让数据资产像图书馆一样井井有条；更对列表展示与底层SQL进行了深度重构，只为给你更丝滑的开发体验。

2026-03-27

全国首批NVIDIA DGX Spark率先抵达超擎数智，现货在仓，交付启动

10 月 19 日上午，全国首批 NVIDIA DGX Spark 桌面级 AI 超级计算机，已率先抵达超擎数智，现货在仓，开始陆续交付给用户。

2025-10-23

字节云原生数仓 ByConity 开源一周年！听听 Committer 们怎么说

之前我们更多的时间花在如何让业务快速跑起来，后面我们也会花一些时间和人力在代码上，更好地使用到 ByConity 云数仓的能力。对社区发展的期待希望社区之后有更多的贡献者。

2024-08-06

PieCloudDB Database 3.0 正式发布丨数仓虚拟化技术为数据要素流转注入创新动能

2024-03-15

同程数科基于 Apache Doris 构建统一实时数仓，查询提速数十倍！

为帮助业务人员提升数据开发的效率与质量，同程数科历经三代架构演进，最终引入 Apache Doris 搭建统一实时数仓，在后续的实际应用中，将实时数仓平台化，进一步构建了一站式数据平台 Ark，为业务人员提供了简单易用

2023-06-21

打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构

早期架构早期数仓架构主要分为两套基于 CDH 的大数据集群，这两套架构用于不同产品线的数仓需求、数据大屏和 BI 报表等应用。

2023-02-08

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

以下将为大家介绍思必驰数仓架构的演进之路，早期数仓存在的优缺点，同时分享我们选择 Apache Doris 构建新架构的原因以及面临的新问题与挑战。

2022-10-10

ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索

会上，袋鼠云大数据引擎开发专家莫问精心准备了一场主题为「袋鼠云开源框架基于数仓的一体化建设探索」的分享，通过“如何围绕数仓一体化建设进行探索”，“引进开源框架后如何解决建设难题”、“开源框架能够带来的收益

2022-09-08

离线数仓建设，企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接：离线数仓建设，企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾：点击这里课件获取：点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出，不同于实时数据，离线数据一般是

2022-06-10

12月5日Spark社区直播【是时候改变你数仓的增量同步方案了】

议题：是时候改变你数仓的增量同步方案了直播间直达（回看）链接： https://tianchi.aliyun.com/course/live?

2019-12-01

国内云数仓排行独占一档，揭秘阿里云EB级大数据计算引擎MaxCompute

这是Forrester Wave首次发布关于云数仓解决方案（Cloud Data Warehouse，简称CDW）的测评。

2018-11-27

威胁建模——围绕假想敌的领域建模

威胁建模的目的是为防御者提供系统分析，分析需要包含哪些控制或防御措施，考虑到系统的性质、可能的攻击者的概况、最可能的攻击向量以及攻击者最需要的资产。威胁建模可以回答诸如“我在哪里最容易受到攻击？”

2022-04-17

云数仓账单吃紧？用DuckDB做嵌入式分析，成本降了一大截

上个月看云数仓账单，差点没坐住。一个不大不小的分析任务，月费顶得上团队半个月工资。找云厂商优化配置，对方说"建议加节点"，越说越离谱。

2026-08-31

招联金融基于 Apache Doris 数仓升级：单集群 QPS 超 10w，存储成本降低 70%

存在的问题早期架构由实时数仓和离线数仓两套组成，是较为典型的 Lambda 架构。

2024-08-29

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。