首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/4472036/blog/4760722

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

AntV/G2Plot v2.0 技术架构思考

G2Plot v2 版本,从今年 8 月开始开发,目前差不多已经快 4 个月了,达成: 25+ 常用的统计图表 80% 图表在复杂 BI,LowCode 产品中使用验证 97% 代码单测覆盖率 5+ 积极的社区同学参入 后续我们会继续在几个方面深入: 按照业务需求去提升,图表丰富度(桑基图、矩阵树图等),并在复杂业务系统去实践和应用 文档、场景 DEMO,降低使用者的门槛和成本 那么,本文会介绍 G2Plot 2.0 版本开发,从业务到技术架构的一个思考,可能比较混乱,轻喷! 首先自我介绍一下,我是蚂蚁大数据部门的前端,主要负责 DeepInsight 这个 BI 产品的数据分析能力,同时会做 AntV 统计图表 G2,G2Plot 的开发和迭代。 从 BI 的角度出发,我们可以理解一下这一张图。 数据可视化对于我们 BI 产品来说,非常重要,并且随着时间的推移,数据量的堆积,可视化能力对于任何一个互联网产品,都是非常重要的。 问题 为了描述 G2Plot 新架构的内容,必须先说一下旧架构存在或者带来的问题。 业务问题 去年我们在 G2Plot v1 基础上,做了不少图表体验优化的事情...

建设实时数仓之前的思考与方案

导读:本文由作者LittleMagic总结分享授权发布,主要阐述建设实时数仓之前的思考与方案记录。详细分为以下几个方面: 动机背景 指导思想 技术选型 架构分层 元数据管理 SQL作业管理 数据质量 ☞ 关注 公众号『数据仓库与Python大数据』 ,获取更多优质资源与干货文章。 作者:LittleMagic 编辑:紫霞仙子 正文 前言 随着这次新冠疫情带来的机遇,业务数据规模飞速增长,实时数仓的建设已经提上了日程。虽然还没有正式开始实施,但是汲取前人的经验,做好万全的准备总是必要的。 本文简单地记录一下建设实时数仓之前的一些思考和方案想法,不涉及维度建模方法论的事情。如果有兴趣请移步:系列 | 漫谈数仓第二篇NO.2 数据模型(维度建模) 一、动机背景 随着业务快速增长,时效性越显重要,传统离线数仓的不足暴露出来: 运维层面——所有调度任务只能在业务闲时(凌晨)集中启动,集群压力大,耗时越来越长; 业务层面——数据按T+1更新,延迟高,数据时效价值打折扣,无法精细化运营与及时感知异常。 实时数仓即离线数仓的时效性改进方案,从原本的小时/天级别做到秒/分钟级别。底层设计变动的同时,需要...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Oracle

Oracle

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。