HBase2.0在360的技术改进与应用实践-低调大师

HBase2.0在360的技术改进与应用实践

2019-01-03 739

一、HBase在360的使用情况

从数据来看，360目前共有27个HBase集群，其中在线集群9个，综合集群3个。整个360共有12500个HBase节点，单集群最多有2184个RegionServer。360 的HBase集群共有1885个Table以及719703个Region，而单表最大的Region数为74788。此外，从业务层面来看，360的HBase集群每秒钟大约需要响应3百万次请求。通过这些数据也能够说明，目前对于360而言，无论是HBase集群还是节点，数量都非常庞大，请求量也非常大。而如今，整个360背后的几大重要业务都有HBase的身影，比如360搜索、安全业务以及360金融和IoT等背后都使用了HBase存储数据来支撑业务的快速发展。

针对如此众多的业务场景，360根据业务特点将其分为了三类：

第一类业务对响应时间

微信关注我们

原文链接：https://yq.aliyun.com/articles/684333

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据分析的下一代架构--IOTA架构设计实践

IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下： Lambda架构的核心思想是：数据从底层的数据源开始，经过各样的格式进入大数据平台，然后分成两条线进行计算。一条线是进入流式计算平台，去计算实时的一些指标；另一条线进入批量数据处理离线计算平台，去计算T+1的相关业务指标，这些指标需要隔日才能看见。Lambda优点是稳定、实时和离线计算高峰错开，但是它有一些致命缺点，其缺点主要有：● 实时与批量计算结果不一致引起的数据口径问题：因为批量和实时计算走的是两个计算框架和计算程序，算出的结果往往不同，经常看到一个数字当天看是一个数据，第二天看昨天的数据反而发生了变化。● 批量计算在计算窗口内无法完成：在IOT时代，数据量级越来越大，经常发现夜间只有4、5个小时的时间窗口，已经无法完成白天20多个小时累计的数据，保证早上上班前准时出数据已成为每个大数据团队头疼的问题。● 数据源变化都要重新开发，开发周期长：每次数据源的格式变化，业务的逻辑变化都需要针对ETL和Streaming做开发...

2019-01-04

589

一、HBase基础与存储的优势HBase主要具有五大核心优势，即海量存储、列式存储、易扩展、高并发以及稀疏矩阵。HBase所能够应用的场景包括对象存储、用户画像推荐、聊天消息实时流、索引、报表以及轨迹数据和监控数据等。二、HBase应用分享这里主要分享一下HBase在人脸识别场景中的应用。在京东，人脸识别主要应用于无人超市、动态广告牌以及AR试装镜等项目中。人脸识别主要可以分为离线人脸识别和在线人脸识别两个方面。分别而言，离线人脸识别包括人脸属性识别，包括性别、年龄以及表情等的识别，其次是小场景人脸识别，比如手机人脸识别等，小场景人脸识别速度比较高，数据和模型都存储在本地。第三个就是人脸个数检测，比如通过摄像头判断和分析某区域的客流量。对于在线人脸识别而言，需要对人脸信息进行录入，其次还有人脸搜索，比如常用的门禁场景。第三就是人脸

2019-01-04

673

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。