大数据情报第四期(2018-07-16)
《使用Kafka Streams构建事件溯源系统的经验分享》近期在乌克兰基辅举行的JEEConf大会上,Amitay Horwitz介绍了他的团队是如何实现一个事件溯源的发票系统、系统两年半生产环境运行期间所遇到的挑战,以及团队是如何使用Kafka Streams实现新的设计。
《使用Apache Kafka和KSQL实现普及化流处理》大多数的流处理技术,需要开发人员使用Java或Scala等编程语言编写代码。KSQL是Apache Kafka的数据流SQL引擎,它使用SQL语句替代编写大量代码去实现流处理任务。KSQL基于Kafka的Stream API构建,它支持过滤、转换、聚合、连接、加窗操作和Sessionization(即捕获单一会话期间的所有的流事件)等流处理操作。KSQL的用例涉及实现实时报表和仪表盘、基础设施和物联网

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Qunar 高速发展下数据库的创新与发展
Qunar 高速发展下数据库的创新与发展 本篇文章主要介绍 TiDB 在去哪儿的调研和实践。 1、分布式数据库诞生背景 随着互联网的飞速发展,业务量可能在短短的时间内爆发式地增长,对应的数据量可能快速地从几百 GB 涨到几百个 TB,传统的单机数据库提供的服务,在系统的可扩展性、性价比方面已经不再适用。随着业界相关分布式数据库论文的发布,分布式数据库应运而生,可以预见分布式数据库必将成为海量数据处理技术发展的又一个核心。 目前业界最流行的分布式数据库有两类,一个是以 Google Spanner 为代表,一个是以 AWS Auraro 为代表。 Spanner 是 shared nothing 的架构,内部维护了自动分片、分布式事务、弹性扩展能力,数据存储还是需要 sharding,plan 计算也需要涉及多台机器,也就涉及了分布式计算和分布式事务。主要产品代表为 TiDB、CockroachDB、OceanBase 等。 Auraro 主要思想是计算和存储分离架构,使用共享存储技术,这样就提高了容灾和总容量的扩展。但是在协议层,只要是不涉及到存储的部分,本质还是单机实例的 MySQL...
- 下一篇
阿里巴巴云计算进驻水泥行业 MaxCompute助力企业“智慧大脑”
7月10日,山东能源淄矿集团和阿里云计算公司签署协议,共同推动新旧动能转换合作项目。其中,淄矿东华水泥智慧大脑项目,是淄矿东华水泥联合阿里云打造的新旧动能转换标杆项目。这也是淄矿集团与阿里云合作签约后的首个落地项目。 在山东省以“四新”促“四化”,加快新旧动能转换的契机下,如何打造“中国制造2025”的行业标杆?此次,淄矿集团与阿里云,想在一起、走在一起。他们双方将充分挖掘和运用各自优势,整合优质资源,形成聚合效应,推动生产与互联网技术的高度融合。 2017年,淄矿集团实现营业收入601亿元、利税71亿元、资产总额约500亿元,是全国煤炭企业中发展质量最好的企业之一。阿里云计算公司(简称“阿里云”)创立于2009年,是阿里巴巴集团旗下公司。阿里云致力于打造公共、开放的云计算服务平台,是全球领先的云计算及人工智能科技公司。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7设置SWAP分区,小内存服务器的救世主
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Hadoop3单机部署,实现最简伪集群
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池