HBase2.0在360的技术改进与应用实践-低调大师

HBase2.0在360的技术改进与应用实践

2019-01-03 771

一、HBase在360的使用情况

从数据来看，360目前共有27个HBase集群，其中在线集群9个，综合集群3个。整个360共有12500个HBase节点，单集群最多有2184个RegionServer。360 的HBase集群共有1885个Table以及719703个Region，而单表最大的Region数为74788。此外，从业务层面来看，360的HBase集群每秒钟大约需要响应3百万次请求。通过这些数据也能够说明，目前对于360而言，无论是HBase集群还是节点，数量都非常庞大，请求量也非常大。而如今，整个360背后的几大重要业务都有HBase的身影，比如360搜索、安全业务以及360金融和IoT等背后都使用了HBase存储数据来支撑业务的快速发展。

针对如此众多的业务场景，360根据业务特点将其分为了三类：

第一类业务对响应时间

微信关注我们

原文链接：https://yq.aliyun.com/articles/684333

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据分析的下一代架构--IOTA架构设计实践

IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下： Lambda架构的核心思想是：数据从底层的数据源开始，经过各样的格式进入大数据平台，然后分成两条线进行计算。一条线是进入流式计算平台，去计算实时的一些指标；另一条线进入批量数据处理离线计算平台，去计算T+1的相关业务指标，这些指标需要隔日才能看见。Lambda优点是稳定、实时和离线计算高峰错开，但是它有一些致命缺点，其缺点主要有：● 实时与批量计算结果不一致引起的数据口径问题：因为批量和实时计算走的是两个计算框架和计算程序，算出的结果往往不同，经常看到一个数字当天看是一个数据，第二天看昨天的数据反而发生了变化。● 批量计算在计算窗口内无法完成：在IOT时代，数据量级越来越大，经常发现夜间只有4、5个小时的时间窗口，已经无法完成白天20多个小时累计的数据，保证早上上班前准时出数据已成为每个大数据团队头疼的问题。● 数据源变化都要重新开发，开发周期长：每次数据源的格式变化，业务的逻辑变化都需要针对ETL和Streaming做开发...

2019-01-04

614

一、HBase基础与存储的优势HBase主要具有五大核心优势，即海量存储、列式存储、易扩展、高并发以及稀疏矩阵。HBase所能够应用的场景包括对象存储、用户画像推荐、聊天消息实时流、索引、报表以及轨迹数据和监控数据等。二、HBase应用分享这里主要分享一下HBase在人脸识别场景中的应用。在京东，人脸识别主要应用于无人超市、动态广告牌以及AR试装镜等项目中。人脸识别主要可以分为离线人脸识别和在线人脸识别两个方面。分别而言，离线人脸识别包括人脸属性识别，包括性别、年龄以及表情等的识别，其次是小场景人脸识别，比如手机人脸识别等，小场景人脸识别速度比较高，数据和模型都存储在本地。第三个就是人脸个数检测，比如通过摄像头判断和分析某区域的客流量。对于在线人脸识别而言，需要对人脸信息进行录入，其次还有人脸搜索，比如常用的门禁场景。第三就是人脸

2019-01-04

691

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。