TiDB 助力一面数据实现消费领域的决策分析平台-低调大师

TiDB 助力一面数据实现消费领域的决策分析平台

2017-10-02 589 89

2017年架构师最重要的48个小时 | 8折倒计时

深圳市一面网络技术有限公司(下称：一面数据)是一家为消费领域的领导企业提供实时、精准、全面的数据洞察和决策指导的创新型企业，利用人工智能和算法，进行自然语言处理，语义情感分析，回归预测模型等，帮助客户实现精准产品运营和预测市场变化。一面数据服务于国内外一流企业，包括世界最大的对冲基金、国际一线汽车品牌、快消品龙头厂商，以及时尚鞋服大牌等。

一、改造前系统架构

一面数据的核心 IT 系统覆盖了从数据获取、数据清洗处理、数据建模到数据可视化的全套数据分析流程。核心系统每天有海量从互联网采集的公开数据和来自企业内部的数据，对数据存储的容量、扩展性和可用性都有很高的要求。

起初，一面数据的核心系统采用的是多个 MySQL 实例和一个 Cassandra 集群。MySQL 多实例集群主要存储指定特征的爬虫数据，Cassandra 主要存储数据量大、不适合存储 MySQL 的全页面缓存的数据。在数据量/请求量小的时候系统运行正常。下图为：一面数据改造前系统构架图

随着数据量的增长，逐渐暴露出很多问题：

MySQL：随着数据增长，存储容量接近单机的磁盘极限，单机的磁盘 IO 繁忙且易阻塞，查询性能难以满足业务增长的需求。数据量大了以后，传统的 MySQL 水平扩展能力弱，性能和稳定性容易产生问题，在数据量和访问量增长到一定阶段将无法满足常见的 OLAP 场景分析需求。技术团队通过诊断系统性能问题，认识到现有数据库已经成为瓶颈。
Cassandra：Cassandra 对磁盘 IO 和内存要求高，添加一个实例，需要从其他实例迁数据，对网络带宽、磁盘要求特别高。另外 CQL 支持的特性太少，业务开发麻烦，例如不能联表，不支持主键之外的索引，对主键以外的查询比较困难，虽然有 Secondary Index，但是使用限制大。生态圈不完善，例如很难找到好用的监控。

二、改造后的系统架构 - 引入 TiDB 替换 MySQL 和 Cassandra

为从根本上解决以上问题，一面数据的技术团队决定通过增加部署一套高性能的数据库系统，以解决当前业务的痛点。在评估和验证了 MySQL Sharding 和 MongoDB 等传统技术手段之后，团队认识到：基于 MySQL Sharding (即利用 MySQL 中间件分库分表) 架构在高可用安全能力，业务和查询的灵活支持以及运维管理难度和成本上都不尽如人意，有着诸多架构上和技术上的缺陷;而 MongoDB 比较适合存储爬虫数据，但迁移成本高，不管是数据还是应用程序都需要做侵入性修改和调整，难度和开发成本骤升。另外，作为 NoSQL 数据库，MongoDB 不支持 SQL 和 JOIN ，对 BI 工具的支持也不完善，数据分析师们无法直接使用。最终从满足业务需求、降低切换成本和减少运维成本等角度考虑，一面数据选择了分布式关系型数据库-TiDB 作为业务的首选事务型数据库。

TiDB 支持包括跨行事务，JOIN 及子查询在内的绝大多数 MySQL 的语法，用户可以直接使用现有的 MySQL 客户端连接。如果现有的业务已经基于 MySQL 开发，大多数情况不需要修改代码即可直接替换单机的 MySQL。同时现有的大多数 MySQL 运维工具(如 PHPMyAdmin, Navicat, MySQL Workbench 等)，以及备份恢复工具(如 mysqldump, mydumper / myloader)等都可以在 TiDB 直接使用，这也让开发运维人员不用关注数据库 scale 的细节问题，专注于业务开发，极大的提升研发的生产力。下图为：一面数据改造后系统构架图

一面数据的生产环境部署了数十个 TiKV 节点及几个 TiDB 节点。迁移原有 MySQL 集群数据时使用 Percona 的 mydumper 以及 TiDB 专有优化的 loader 工具，逐个爬虫进行迁移。目前 TiDB 集群存储了接近数十 TB 的数据，把另外几个应用迁移完成后将会每日新增近亿条记录。

完成迁移以后，系统不再需要维护多个 MySQL 实例以及 Cassandra 集群，运维成本大幅缩减，监控使用 Prometheus/Grafana，并且可以通过 Prometheus 的 AlertManager 定制规则复杂的报警规则。这些改变都让一面数据的爬虫存储侧的工作便利许多，可以让一面数据的研发把精力更多放在业务研发而不是运维多个不同技术栈的复杂集群。

三、未来的架构规划

目前 TiDB 新增了 TiSpark 组件，并且在 TiKV 层实现了 Spark 的下推算子，使得可以直接在 TiDB 集群上跑 Spark 程序，这样可以省去 ETL 的步骤。后续一面数据也考虑深入使用 TiSpark 组件，让一面数据的整个系统增加一定的实时复杂查询的能力。长远来看，可以把现在 ElasticSearch，Impala，Hive 的业务都迁移到 Spark 集群上，这样一方面统一了分析侧的技术栈，另一方面连接了 Spark 丰富庞大的生态。下图为：一面数据未来系统构架图

在一面数据 CTO 张锦杰看来：“ TiDB 水平扩展性、兼容 MySQL 是非常好的特性，对需要使用关系型数据库作为存储方案的业务有极大的诱惑力，避免了传统分表、分库方案带来的上层应用的复杂性，解决了我们目前迫切的关系型数据存储的需求。”

本文作者：申砾

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/229555

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-10-03 00:00:00

RDIFramework.NET ━ .NET快速信息化系统开发框架 V3.2->Web版本工作流部分业务处理界面与查看界面全新展示

RDIFramework.NET工作流程组件是以RDIFramework.NET框架为支撑，根据我们多年的项目经验和项目实践，结合国内各大工作流产品的特点研发的一套流程管理组件。该组件不仅考虑到从零搭建业务系统，也考虑到与现有业务系统的整合。从零搭建系统我们可以使用RDIFramework.NET框架以基础，来快速搭建业务系统。与现有系统的整合，我们的流程引擎提供了丰富的功能接口，供三方业务系统调用，并提供组件的全部源码方便用户进行整合。RDIFramework.NET工作流程组件采用SOA架构模式，流程引擎支持WCF方式访问。支持B/S、C/S系统，同时支持SQLServer、ORACLE、MySQL等主流数据库。RDIFramework.NET━工作流组件主要涵盖工作流的设计与定义、流程实例的发起与运行、业务流程的监控与管理、工作流组件与业务系统的集成与协作等内容。框架的工作流在3.2版本中处理界面做了全新的修改，启动任务、处理任务、查看任务等界面都在在Tab标签中被打开，打开后显示界面也全新的修改，更加的美观与规范。在日常业务窗口，选择我们需要启动的任务，单击“启动任务”窗口...

528

2017-10-03 00:00:00

5G网络正在向云、虚拟化及网络切片迈进

根据Digitimes Research的最新研究显示，由于一些电信运营商正在寻求加快商业5G网络的实施，在通信网络从4GLTE转变到5G的过程中，出现了“非独立”和“独立”网络的选择。同时，为了应对新网络下的多种应用场景和极端性能要求，5G网络的架构和功能一直在朝着云端发展，同时还包括虚拟化和网络切片。为了应对韩国SK电讯和美国Verizon早日部署商业5G网络的技术需求，3GPP于2017年3月决定将于2017年12月前完成非独立5G NR(新无线电)网络标准。虽然以前的移动网络只需要携带语音、文本消息和数据服务，但广泛定义的5G网络将通过协同和整合各种通信和网络技术来突显其通信能力，而网络切片被视为5G架构下最为创新的技术。虽然网络切片技术有可能证明移动通信在新兴垂直通信领域的运营可行性，但尚未表明它也将能够为垂直市场带来更多的应用价值。此外，电信运营商通信网络的虚拟化也将推动电信设备的标准化达到一般商业标准，这也可能会影响现有电信设备供应商的市场份额。本文作者：Oscar译来源：51CTO

581

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。