实时处理大数据的分布式系统Druid-IO-低调大师

实时处理大数据的分布式系统Druid-IO

2017-07-31 467

Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。

Druid 具有以下主要特征：

为分析而设计——Druid 是为 OLAP 工作流的探索性分析而构建，它支持各种过滤、聚合和查询等类;
快速的交互式查询——Druid 的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到;
高可用性——Druid 的数据在系统更新时依然可用，规模的扩大和缩小都不会造成数据丢失;
可扩展——Druid 已实现每天能够处理数十亿事件和 TB 级数据。

当业务中出现以下情况时，Druid 是一个很好的技术方案选择：

需要交互式聚合和快速探究大量数据时;
需要实时查询分析时;
具有大量数据时，如每天数亿事件的新增、每天数 10T 数据的增加;
对数据尤其是大数据进行实时分析时;
需要一个高可用、高容错、高性能数据库时。

查询操作中数据流和各个节点的关系如下图所示：

如下图是 Druid 集群的管理层架构，该图展示了相关节点和集群管理所依赖的其他组件(如负责服务发现的ZooKeeper集群)的关系：

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/187897

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

英国政府的开源开发

为英国政府开发的新代码现在已经开源了。政府数字化服务（Government Digital Service，GDS）技术架构师Anna Shipman说，以开源的方式进行代码编写可以让它们被重用，并提高透明度，最后会实现更好的数字服务。Anna Shipman在2016 GOTO柏林会议上谈到了政府的开源行为。我们所做的事情就是要改变政府的工作方式，Shipman说。英国政府希望提供的非常好的数字化服务，好让大家喜欢使用它们，并最终让政府和公民间可以更好的互动。英国政府的软件开发以前是每年都用大爆炸式的版本来完成的。近年来这种方式已经改变了，许多团队每天会做几次代码更新。 Shipman给出了一个例子：当车主们想要转让或保留登记号码时，他们必须要做什么事情。以前，他们不得不填写一张纸质的表格。现在，他们可以在网上填写电子表格，这样做更容易，速度也更快。在线上做这件事也降低了政府的处理成本，所以公民们现在为这项服务支付的费用也减少了。用户们对这项服务的满意度为91%。英国政府一直致力于将代码开源，Shipman说新开发出来的代码应该默认就是开放的。当然用来处理安全或配置相关功能的代...

2017-08-01

576

前面介绍过几篇seq2seq在机器翻译、文本蕴藏、自动文摘领域的应用，模型上每篇稍有不同，但基本的思想是接近的。本文继续分享一篇seq2seq在对话生成任务上的应用，是一篇工业界的论文，因此并没有什么理论创新。之所以选这一篇，是因为对话生成是一个非常热门的研究领域和应用领域，也可能是一个非常热门的创业领域，另外一个原因是为了充实seq2seq在各个领域中的应用这一主题。论文题目是A Neural Conversational Model，作者是来自Google Brain，毕业于UC Berkeley的Oriol Vinyals博士，论文最早于2015年7月放在arxiv上。模型部分不用多说，是最简单的seq2seq，架构图如下：本篇主要想分享的东西是结果以及一些思考。文中采用了两个数据集，IT Helpdesk Troubleshooting dataset和OpenSubtitles dataset，前者是一个关于IT类的FAQ数据集，后者是一个电影剧本的数据集。我们可以看一下训练后的模型生成的对话结果，这里只关注第二个数据集的结果：常识类问题：哲学类问题：道德类问题：...

2017-08-01

579

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。