apache开源项目--Apache Drill-低调大师

apache开源项目--Apache Drill

2017-03-30 572

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache 软件基金会发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

Apache Drill 在基于 SQL 的数据分析和商业智能（BI）上引入了 JSON 文件模型，这使得用户能查询固定架构，演化架构，以及各种格式和数据存储中的模式无关（schema-free）数据。该体系架构中关系查询引擎和数据库的构建是有先决条件的，即假设所有数据都有一个简单的静态架构。

Apache Drill 的架构师独一无二的。它是唯一一个支持复杂和无模式数据的柱状执行引擎（columnar execution engine），也是唯一一个能在查询执行期间进行数据驱动查询(和重新编译，也称之为 schema discovery)的执行引擎（execution engine）。这些独一无二的性能使得 Apache Drill 在 JSON 文件模式下能实现记录断点性能（record-breaking performance）。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具（谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速）。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

数据结构：

兼容已有的 SQL 环境和 Apache Hive：

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

Drill 查询：

Drillbit 核心模型：

Drill 编译器：

本文转自二郎三郎博客园博客，原文链接：http://www.cnblogs.com/haore147/p/5103225.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/353670

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于用户画像的实时异步化视频推荐系统

前言这个月做的事情还是蛮多的。上线了一个百台规模的ES集群，还设计开发了一套实时推荐系统。标题有点长，其实是为了突出该推荐系统的三个亮点，一个是实时，一个是基于用户画像去做的，一个是异步化。实时主要体现在三个层面： 1.用户画像中的的短期兴趣模型实时构建。也就是你看完一个视频，这个视频几秒内就影响了你的短期兴趣模型，并且反应到你下次的推荐中。 2.候选集实时变更。在我设计的推荐系统中，候选集的概念是不同类型的待推荐给用户的视频库，一个用户并不能看到某个候选集的全部，而是能够看到经过匹配算法处理完后的候选集的一部分。候选集的更新周期直接影响用户能够看到的视频的实时性。候选集可以有很多，通过不同的候选集解决不同的推荐场景问题。比如结合最新候选集和最近N小时最热候选集，我们可以做到类似今日头条的推荐效果。新内容候选集的产生基本就是实时的，而最近N小时热门视频候选集则可能是分钟级别就可以得到更新。还有比如协同就可以做视频的相关推荐，而热门候选集则可以从大家都关心的内容里进一步筛出用户喜欢的内容。 3.推荐效果指标的实时呈现。上线后你看到的一些比较关键的指标例如点击转化率，都可以在...

2017-03-31

674

关于Spark Streaming中的任务有如下几个概念： Batch Job Stage Task 其实Job,Stage,Task都是Spark Core里就有的概念，Batch则是Streaming特有的概念。同一Stage里的Task一般都是并行的。同一Job里的Stage可以并行，但是一般如果有依赖则是串行,可以参考我这篇文章 Spark 多个Stage执行是串行执行的么？。 Job的并行度复杂些，由两个配置决定： spark.scheduler.mode(FIFO/FAIR) spark.streaming.concurrentJobs 我们知道一个Batch可能会有多个Action执行，比如你注册了多个Kafka数据流，每个Action都会产生一个Job,所以一个Batch有可能是一批Job,也就是JobSet的概念，这些Job由jobExecutor依次提交执行,而JobExecutor是一个默认池子大小为1的线程池，所以只能执行完一个Job再执行另外一个Job。这里说的池子，他的大小就是由 spark.streaming.concurrentJobs 控制的。 con...

2017-03-31

617

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。