三年运营:日活百万的微服务数据分析架构
架构使用的语言
这几年数据分析迅速发展,我们也做了一个微数据分析工具。该产品已成功运行三年,满足日活百万的企业。产品结构很简单,用世上最简单的语言php,最普遍的数据库mysql,服务器可以选择apache也可以选择nginx,一切看你自己的喜好。
一、微服务架构图
整个流程图:
1、SDK上传数据到服务器,如果安装redis做缓存,数据会最先进到redis,然后定时抽取数据到DB服务器。有了redis可以大大提高并行数据处理能力。
2、数据库收集原始数据,存储过程将数据按照不同维度统计各个指标数据,同时将数据汇总表。
3、前台报表展示,实时报表、小时报表和天报表数据展示。最好做到读写分离。
二、功能架构
功能架构主要包括功能、角色和权限三部分。功能是企业服务,用户使用的每一个功能,就是企业的每一个服务。角色是用户操作的归类,功能与角色的对应关系及权限。了解系统架构的现状,从功能架构开始。
三、应用架构
应用架构的内容包括现有架构图、web应用现状和接口架构。其中,接口是应用层面的关键,它是程序之间交互的部分。
主要包括clientdata、usinglog、event和errorlog等接口。
SDK通过接口定时发送数据到后台。
应用架构罗列出前后端调用关系。
四、数据设计
两个数据库,大约一百张表。数据库的设计依赖业务数据,对业务数据归类,导致数据设计画出E_R图,数据设计完成,最终数据库设计就出来了。数据库只要早起设计的号,是可以做到易伸缩、易拆分的。统计类主要分为统计的维度,还有就是用户、设备、错误信息等。
1、数据处理能力
日活百万,启动次数大概两百万,事件数和页面访问量起码在三百到五百万之间,平均每小时数据量五十万。运行过程中,**客户数据量集中在早晚高峰。根据客户的特殊情况,会把一些任务安排在闲暇时间段,比如日任务、周任务、月任务等安排在零晨。
好的硬件配置是数据处理的好帮手,更大的内存更快的硬盘绝对可以让数据流快速执行。
2、数据清洗和读写分离
大量原始数据入库,这些数据处理之后就是垃圾数据了。当所有报表数据都统计之后并写入各个维度表之后,需要定时把这些数据清除掉。
前台报表展示数据跟存储分析数据库最好分开。
五、物理架构
微服务的物理架构需要的机器很少,一台机器也能跑起来。分析统计主要是数据处理能力要求很高,数据库服务器需要两台,web端需要一台足矣。多年运营结果是并发和数据库处理能力是统计分析的最大瓶颈。
六、继续优化的方向
1、数据读写分离,数据清洗。
2、并发量。
七、客户
客户最关心的数据:
每一个客户最关心的就是用户表,用户新增状况、用户活跃情况、用户留存情况。
不同的客户对用户要求不同,需要判断用户是否是刷机来的,用户跟设备号及用户ID(用户号码)之间的映射关系。
事件数据也是很重要的,关系转化率。
页面访问跟事件是同等重要。
错误数据可以检测应用存在的Bug。
不同的客户,不同的使用场景对指标会有不同需求。
原文链接:http://www.cobub.com/three_years_running_a-million_micro-service_data_analysis_framework/
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务
Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM。 CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。 CM是cloudera manager的简称,是CDH的管理平台,主要包括CM server, CM agent。通过CM可以对CDH进行配置,监测,报警,log查看,动态添加删除各种服务等。 一、准备工作 环境 JDK:1.8 centos:7.3 操作系统:CentOS6 JDK版本:1.7.0_80 所需安装包及版本说明:由于我们的操作系统为CentOS7,需要下载以下文件: cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5...
- 下一篇
运维架构服务监控Open-Falcon
运维架构服务监控Open-Falcon(http://www.roncoo.com/course/view/ae1dbb70496349d3a8899b6c68f7d10b) 一、 介绍 监控系统是整个运维环节,乃至整个产品生命周期中最重要的一环,事前及时预警发现故障,事后提供翔实的数据用于追查定位问题。监控系统作为一个成熟的运维产品,业界有很多开源的实现可供选择。当公司刚刚起步,业务规模较小,运维团队也刚刚建立的初期,选择一款开源的监控系统,是一个省时省力,效率最高的方案。之后,随着业务规模的持续快速增长,监控的对象也越来越多,越来越复杂,监控系统的使用对象也从最初少数的几个SRE,扩大为更多的DEVS,SRE。这时候,监控系统的容量和用户的“使用效率”成了最为突出的问题。 监控系统业界有很多杰出的开源监控系统。我们在早期,一直在用zabbix,不过随着业务的快速发展,以及互联网公司特有的一些需求,现有的开源的监控系统在性能、扩展性、和用户的使用效率方面,已经无法支撑了。 因此,我们在过去的一年里,从互联网公司的一些需求出发,从各位SRE、SA、DEVS的使用经验和反馈出发,结合业界...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果