Go 大数据生态迎来重要产品 CDS-低调大师

Go 大数据生态迎来重要产品 CDS

2020-11-27 547

项目地址：

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它有着优异的性能，可以快速部署和运行。不过要想使用ClickHouse搭建起数仓用于数据分析，一个重要的问题就是数据如何进入ClickHouse？我们希望数据源的变化能够自动实时地被同步到ClickHouse，而且支持方便的动态的添加新的数据源(新的数据库，表)，能够自动的生成对应数据源的schema。

go-zero团队使用go语言围绕ClickHouse开发了一些方便的组件与服务。

我们得到了下面这样的数据同步设计

该数据同步系统大致由以下三部分组成

DM 全量同步服务 github.com/tal-tech/cds/dm
RTU 实时增量同步服务 github.com/tal-tech/cds/rtu
Galaxy 网页控制台服务 github.com/tal-tech/cds/galaxy

流程如下：

用户可以在网页控制台添加数据源，自动生成DDL，添加同步任务，该任务会被发送到etcd。
dm会收到全量同步的通知，执行历史数据的全量同步工作。
之后网页控制台服务会指定connector开启数据库log监听工作，数据会进入kafka。
监听etcd集群的RTU实时增量同步服务服务会发现有新的任务，RTU自动领取任务，到kafka消费数据并同步至ClickHouse。

上述服务的开发使用了go语言。借助于go-zero中的工具包，如goctl等，我们快速实现了它。它还加入了支持自适应mongoDB结构变化，支持数据分表等。

我们相信这是go语言与ClickHouse探索大数据的一个不错的起点，我们希望有更多的人能够参与进来。

CDS项目地址：

https://github.com/tal-tech/cds

https://gitee.com/zeromicro/cds

go-zero项目地址：

https://github.com/tal-tech/go-zero

https://gitee.com/kevwan/go-zero

欢迎大家 star 并加入微信社区 🤝

微信关注我们

原文链接：https://my.oschina.net/kevwan/blog/4752640

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

[深大深鸿会]利用DevEco Studio从零开发OpenHarmony小游戏——2048（上）

从零开发鸿蒙小游戏——2048（上）前言概述 2048游戏规则简要介绍创建项目项目的实现页面布局在画布上显示所有格子与对应数字页面初始化代码展示结语前言最近与小伙伴一起跟着张荣超老师的视频课程《从零开发鸿蒙小游戏App》学习了许久，受益匪浅。为了更好的掌握所学的知识，我们在这里写下这篇文章，用于记录学习过程中理解与感悟，也分享给更多和我一样的鸿蒙初学者，希望在这个过程中能够相互交流、共同进步。本文也是我们第一次写的博客，如果在内容上或排版上有什么好的建议，欢迎向我提出来。共同学习的小伙伴： xxl_connorxian RichardCwy Les24601_ JE13543733623 yeswin411 概述本次课程将从零开始实现一个运行在鸿蒙设备上的经典小游戏2048。本文所实现的功能有：页面布局、显示格子与数字、游戏页面的初始化。后续的功能会写在下一篇文章中。课程使用的IDE为华为的DevEco Studio 课程开发的应用将运行在虚拟设备Huawei Lite Wearable上课程希望实现的app为小游戏2048 课程所使用的语言为js 204...

2020-11-26

517

本文由葡萄城技术团队原创并首发转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 2020年9月18日Vue 3.0正式发布，距离2016年10月1日Vue 2.0发布已经过去了4年。不知道发布日期的选择是否是作者尤大有意为之，在这四年间，Vue作为个人项目取得了巨大成功，github上的 star数迅速超过10W，成为了三大前端流行框架之一，而在国内它更是作为前端初学者入门的首选占据着霸主地位。众所周知，软件开发过程里的重构就像是凤凰浴火，浴火直至永生。2018年2月尤大就有了重构Vue，并于同年九月建立了原型的同时也创建了vue-next的repo，而后正式宣布Vue 3.0项目的启动。随后确定了早期实现的方式（class, TypeScript, hooks, time slicing）以及建立了RFC（Request for Comments，征求意见）流程。在Composition API 确定之前，团队经历了Class API 和 Function API的讨论，功能的回退。团队始终希望保持Vue平缓的学习曲线，以及与用户一起...

2020-11-27

540

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。