Go 大数据生态迎来重要产品 CDS-低调大师

Go 大数据生态迎来重要产品 CDS

2020-11-27 536 89

项目地址：

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它有着优异的性能，可以快速部署和运行。不过要想使用ClickHouse搭建起数仓用于数据分析，一个重要的问题就是数据如何进入ClickHouse？我们希望数据源的变化能够自动实时地被同步到ClickHouse，而且支持方便的动态的添加新的数据源(新的数据库，表)，能够自动的生成对应数据源的schema。

go-zero团队使用go语言围绕ClickHouse开发了一些方便的组件与服务。

我们得到了下面这样的数据同步设计

该数据同步系统大致由以下三部分组成

DM 全量同步服务 github.com/tal-tech/cds/dm
RTU 实时增量同步服务 github.com/tal-tech/cds/rtu
Galaxy 网页控制台服务 github.com/tal-tech/cds/galaxy

流程如下：

用户可以在网页控制台添加数据源，自动生成DDL，添加同步任务，该任务会被发送到etcd。
dm会收到全量同步的通知，执行历史数据的全量同步工作。
之后网页控制台服务会指定connector开启数据库log监听工作，数据会进入kafka。
监听etcd集群的RTU实时增量同步服务服务会发现有新的任务，RTU自动领取任务，到kafka消费数据并同步至ClickHouse。

上述服务的开发使用了go语言。借助于go-zero中的工具包，如goctl等，我们快速实现了它。它还加入了支持自适应mongoDB结构变化，支持数据分表等。

我们相信这是go语言与ClickHouse探索大数据的一个不错的起点，我们希望有更多的人能够参与进来。

CDS项目地址：

https://github.com/tal-tech/cds

https://gitee.com/zeromicro/cds

go-zero项目地址：

https://github.com/tal-tech/go-zero

https://gitee.com/kevwan/go-zero

欢迎大家 star 并加入微信社区 🤝

微信关注我们

原文链接：https://my.oschina.net/kevwan/blog/4752640

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2020-11-26 22:18:00

[深大深鸿会]利用DevEco Studio从零开发OpenHarmony小游戏——2048（上）

从零开发鸿蒙小游戏——2048（上）前言概述 2048游戏规则简要介绍创建项目项目的实现页面布局在画布上显示所有格子与对应数字页面初始化代码展示结语前言最近与小伙伴一起跟着张荣超老师的视频课程《从零开发鸿蒙小游戏App》学习了许久，受益匪浅。为了更好的掌握所学的知识，我们在这里写下这篇文章，用于记录学习过程中理解与感悟，也分享给更多和我一样的鸿蒙初学者，希望在这个过程中能够相互交流、共同进步。本文也是我们第一次写的博客，如果在内容上或排版上有什么好的建议，欢迎向我提出来。共同学习的小伙伴： xxl_connorxian RichardCwy Les24601_ JE13543733623 yeswin411 概述本次课程将从零开始实现一个运行在鸿蒙设备上的经典小游戏2048。本文所实现的功能有：页面布局、显示格子与数字、游戏页面的初始化。后续的功能会写在下一篇文章中。课程使用的IDE为华为的DevEco Studio 课程开发的应用将运行在虚拟设备Huawei Lite Wearable上课程希望实现的app为小游戏2048 课程所使用的语言为js 204...

508

2020-11-27 09:07:00

Vue 3.0 升级指南

本文由葡萄城技术团队原创并首发转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 2020年9月18日Vue 3.0正式发布，距离2016年10月1日Vue 2.0发布已经过去了4年。不知道发布日期的选择是否是作者尤大有意为之，在这四年间，Vue作为个人项目取得了巨大成功，github上的 star数迅速超过10W，成为了三大前端流行框架之一，而在国内它更是作为前端初学者入门的首选占据着霸主地位。众所周知，软件开发过程里的重构就像是凤凰浴火，浴火直至永生。2018年2月尤大就有了重构Vue，并于同年九月建立了原型的同时也创建了vue-next的repo，而后正式宣布Vue 3.0项目的启动。随后确定了早期实现的方式（class, TypeScript, hooks, time slicing）以及建立了RFC（Request for Comments，征求意见）流程。在Composition API 确定之前，团队经历了Class API 和 Function API的讨论，功能的回退。团队始终希望保持Vue平缓的学习曲线，以及与用户一起...

530

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。