当云HBase2.0被赋能了search-低调大师

当云HBase2.0被赋能了search

2018-06-05 695

概述

云HBase2.0也就是我们即将要上线的ApsaraDB for HBase2.0。它不仅兼容开源HBase2.0，也承载着阿里多年大规模HBase使用的技术积淀，还有广大公有云用户喜欢的商业化功能。在大数据量场景中已经具有如此优势的云HBase2.0，如果还能search呢？

技术简介

云HBase2.0上的search是基于最新版本的solr7.3.x研发。数据通过replication准实时的同步到solrcloud中，利用solr实现数据的检索。具体过程如下：

通过配置文件或者SQL中指定要同步的索引列以及分词器等信息，建立HBase与solr表之间的映射关系。
当有HBase中发生数据操作（插入／更新／删除）时，对应的操作数据将会被捕获，转化为doc写入solrcloud中。
索引列作为全文索引进行检索。先检索solr中对应的

微信关注我们

原文链接：https://yq.aliyun.com/articles/599907

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开源的Trafodion如何实现事务与分析一体化？

Trafodion是Apache基金会的一个开源项目，提供了一个成熟的企业级SQL-on-HBase解决方案。Trafodion的主要设计思想是处理operational类型的工作负载，或者是传统的OLTP应用。此外，对于需要保证数据一致性、需要标准SQL开发接口，或者需要实时数据读写分析的应用，Trafodion也是一个十分合适的解决方案。 Trafodion的前世今生 Trafodion的渊源可以追溯到数据库技术的“史前时代”。 Trafodion的鼻祖是天腾 (Tandem) 公司的NonStop SQL。之后在1989年，天腾推出了NonStop SQL/MP，它是第一个MPP分布式数据库，实现海量并发SQL执行。在当时的历史条件下，NonStop SQL/MP开创性地提供了线性横向扩展能力（我们如今耳熟能详的scale out）。 1999年，在Graefe Goetz的帮助下，NonStop SQL/MX诞生了，它实现了基于成本的CBO SQL优化器和基于数据流的MPP SQL执行器。2002年，惠普公司和康柏公司合并，已被康柏收购的天腾也成为了惠普的一部分。2006年，N...

2018-06-06

539

从3月份到现在2个月过去了，整个数据平台从0到1，算是有了一个基本的样子，跌跌撞撞的勉强支撑起运营的一些基本业务，当然这仅仅是开始，下一步还要从零打造自己的UBS系统，想想都兴奋呢!接下来总结下自己这段时间的得失，以及下一阶段的演化目标。关于产品架构的原则可以查看这里，我分了两篇来写： https://www.cnblogs.com/buoge/p/9093096.html 目前的架构方式是这样的: 从使用Sqoop 定时从MySQL中同步数据，数据量大只能小水管的去fetch每次5-10W条记录，避免数据库压力过大 Flume tailagent 每汇总一小时然后传递logcenter,通过Python过滤后批量的Load到hive中每日的报表在Hive的基础上会跑一些 MR 的Job, 作为每日的固化查询。目前的缺点和不足：问题：日志读取,Hive入库和完成后删除log日志原始文件没有做完整的事务控制，load失败或是任务失败，原始日志已经删除了，尴尬:sweat:，目前解决方式是保留15天的原始日志解决方案：后续引入Kafka的日志回放功能，它有机制保证写入一次后在...

2018-06-06

625

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。