海量结构化数据解决方案-表格存储场景解读-低调大师

海量结构化数据解决方案-表格存储场景解读

2020-09-08 776

数据是驱动业务创新的最核心的资产。不同类型的数据如非结构化数据（视频、图片等）、结构化数据（订单、轨迹），面向不同业务的使用要求需要选择适合的存储引擎，能够真正发挥数据的价值。
比如：非结构化的数据-视频图片等适合对象存储OSS，强事务的结构化数据-交易订单适合MySQL。

而针对于海量的非强事务的海量结构化/半结构数据：

这些场景特点是：
1. 数据规模大，常见的关系型数据库难以存储。
2.需要支持很高的读写吞吐与极低的响应延迟。
3. 数据结构相对简单，无跨数据表的关联查询，数据存储写入是无需复杂的事务机制。

表格存储Talestore正是为了解决上述数据的存储、访问以及计算。

历史订单场景

在电商、金融、外卖、新零售等所有涉及交易与协定的所有场景中，都涉及大量的订单。记录社会方方面面。传统关系型数据能够解决需要支持强一致的事务的在线业务，但海量的订单关系型数据无法保存全量数据，需要数据分层。

架构核心需求：

在线数据同步：做实时数据与历史数据分层—支持实时同步在线业务
历史数据存储：历史订单数据存储—支持低延迟数据点查，搜索。
高性价比海量存储数据分析：针对历史库进行报备统计分析—需支持计算组件分析统计!

核心优势

弥补在线库容量问题，降低在线库压力
PB级历史库存储，可全量保存所有数据，并能提供低延迟高并发查询
索引订单内多字段，提供任意条件组合查询

IM/Feed流场景

IM（Instant Messaging，即时通讯）成为当前互联网业务基础组件，在社交、游戏、直播等场景广泛需要。需要高效支持海量消息的存储、同步、检索。

架构核心组件

消息历史库：按对话存储历史消息—需海量数据，存储易拓展
消息同步库：按接受者存储同步消息—需支持高并发写入，实时拉取（写扩散）
消息索引：针对历史库数据支持数据检索—需数据更新同步

核心优势

Tablestore Timeline 消息模型，专为 IM/Feeds 场景设计，简化开发
同步表百 TB 存储，存储表 PB 级存储。
分布式架构，LSM存储引擎，支撑每秒百万写扩散消息写入，毫秒级同步库拉取
读写扩散混合同步模型

时序场景-监控/IOT

针对实时数据的记录与分析极大的丰富了我们对于数据的使用场景。针对系统的运维监控、针对Iot场景中对于环境与人的监控都更有效帮助我们做事实理解与决策。这里需要面临众多设备与系统的高并发写入与数据存储，以及决策分析。

场景核心需求

数据高并发写入：面向众多设备与系统支持百万级节点实时写入
数据实时聚合：针对原始数据监控预聚合，降低精度—支持数据实时同步对接流计算
数据存储：长久保存数据—需单表规模极大，高性价比存储

核心优势

核心单表数据规模达 10 PB，可自定义数据生命周期
核心单表持续每秒写入进 5000万个数据点
数据实时写入，大大提升数据可见时效性
毫秒级实时查询展示趋势图和报表，查询性能不受单表规模约束

舆情&风控分析

针对舆情信息的分析与把控，可以有效的分析与洞察市场。比如针对点评、新闻、评论等信息的收集分析。需要丰富的多类数据高并发写入与便捷的数据流转进行计算分析

场景核心需求

原始数据写入存储：海量数据爬虫需要高并发写入能力与PB及存储。
多数据类型存储：爬取的内容与生成的标签类似丰富需要写入Schema-Free
数据分析：针对数据分阶段处理原始信息->结构化标签->结果存储—需要支持实时计算与离线计算对接

核心优势

分布式 LSM 引擎数据存储，提供高并发高吞吐写入，PB 级数据存储
通过数据更新捕获，实时触发后续对数据的自定义处理逻辑
与大数据平台实时数据同步，分析结果写入结果表，供应用层实时查询

联系我们

表格存储产品详情
开发工程师直接线上交流

微信关注我们

原文链接：https://yq.aliyun.com/articles/771887

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

青团社：基于云原生技术打造行业领先的兼职平台

青团社创立于2013年7月，是国内领先的一站式灵活用工招聘服务平台。平台依托创新融合的互联网技术，基于精准用户画像及庞大的人才资源库，开创性地利用数据高效缔结求职者与企业之间的供需关系，为42万+企业提供兼职招聘与管理服务，有效降低用工成本，提升经营效率。青团社业务涵盖兼职招聘、RPO、HR SaaS、云地推等。目前，青团社已为3亿+人次提供了兼职机会，累计服务用户2500万，单日报名人次超过80万，服务范围覆盖全国300多个城市，位居行业第一，入选《2020杭州准独角兽企业榜单》及36氪“WISE2019新商业开创者榜单”。近些年来，随着云原生技术的不断发展和成熟，越来越多的企业正在拥抱云原生技术来构建自己的业务系统。以青团社旗下的青团兼职平台为例，应用已经基于Spring Cloud框架全面实现了微服务化，并部署运行在阿里云平台。但随之而来也引入了一些额外的需求及问题需要解决。（1）运维监控相比于传统的单体应用，微服务架构下应用数量的增多及调用链路的复杂化都给运维监控增加了难度，开发运维人员需要对服务调用链路进行实时监控，系统发生异常时需要在线实时诊断，提早发现并及时解决线...

2020-09-09

667

CDN伴随着互联网的发展成长至今，已经全面介入互联网信息分发。历经了最初的缓存和静态、动态加速时代，到后来移动互联网爆发下的移动应用加速和体验优化时代，再到如今云CDN与边缘计算时代，CDN将企业与目标用户高效连接，与此同时，不断赋予互联网更智能、更安全、更灵活的价值。天然生于互联网之上的文娱、电商、游戏等行业无不在用CDN来提升分发效率和产品体验。而在今年年初的疫情来临之后，更多传统企业也意识到通过互联网搭建与用户交互的界面的重要性，加速企业在线化、数智化转型的步伐。而在此背景下，CDN的关键互联网基础设施能力更加凸显。每一项热门应用都会带来一轮技术的创新和革命，在这一轮科技浪潮到来之后，企业在互联网接入层的难题和最大挑战是什么？企业数智化的未来，如何全面加速？在线教育、游戏直播、广电传媒等行业如何构建极速、安全的互联网访问体验？CDN将如何突破传统架构，实现技术创新？这些问题，来2020年云栖大会「新一代CDN的技术突破和应用实践」专场，众多行业先行者、技术专家阿里云的专家们将一一作答。本次专场将聚焦在全球企业数字化全速重构的趋势之下，阿里云CDN面向行业应用的技术思考，邀请...

2020-09-09

581

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。