【云栖号案例 | 游戏&娱乐】点触科技上云 构建实时计算和数据仓库
云栖号案例库:【点击查看更多上云案例】
不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!
公司介绍
厦门点触科技股份有限公司,新三板挂牌企业(股票代码:870702),成立于2013年,是一家以历史养成类游戏研发与发行为主,专业从事手机游戏的策划、研发制作、商业化运营的创新型发展公司。目前已经成功研发出《叫我万岁爷》、《我在大清当皇帝》、《Game of Sultan》、《皇上吉祥》等多款历史题材类游戏并深受玩家喜爱。覆盖了全国及港台、东南亚等部分海外市场。
业务痛点
- 对数据库的快速、实时查询能力要求高:
某些恶意用户利用信用卡或者别的漏洞刷单(代充),系统需要实时查询多种日志(比如登入日志,充值日志等)从而识别并拦截游戏代充订单,才能避免损失代充订单的钱。
- 对数据库的性能要求高:
随着业务快速发展,用户行为日志快速增长,需要从海量的点击流日志和激活日志中挖掘数据的价值,比如广告转化率、激活率,每安装用户成本等等。
- Greenplum架构遇到瓶颈:
原来使用Greenplum做实时计算和统计分析。但是Greenplum存在多种缺陷,难以应对业务的快速发展。
1.Greenplum架构难以应对日益复杂的计算任务。
2.Greenplum的单表分区数目有限制,同时多级分区支持不够友好,不适用单表数据量比较大且需要永久保存的日志,如果单个分区表数据量比较大的时候查询性能无法满足业务性能需求。
3.Greenplum扩容时由于数据要重分布会比较慢。
4.Greenplum不适合处理非结构化的数据。
解决方案
点触科技经过多方权衡,最终选择阿里云HBase SQL服务(Phoenix)+ Spark服务构建实时计算和数据仓库解决方案。
- HBase SQL提供在线查询能力、Spark提供流式处理、复杂分析等能力来满足业务需求。
- 梳理业务数据,对数据进行分层存储在HBase SQL(Phoenix)+Spark中:
1.操作数据层:手游客户端、用户中心、广告监测、游戏服务器等产生的原始日志。
2.数据明细层:操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入HBase SQL服务,也可以直接使用JDBC写入数据。
3.数据汇总层:数据明细层的数据可以定期(按天或者按小时)ETL(比如关联维表、过滤、聚合)后写入到数据汇总层。数据汇总层的数据供后续的复杂分析。
4.应用数据层:直接对外提供数据查询服务(基于HBase SQL服务)支撑上层大数据风控、广告推荐、海量数据精细化运营;数据汇总层的数6据经过处理后会把结果数据写入到HBase SQL中对外提供查询服务。
上云价值
- 毫秒级识别拦截代充订单。HBaseSQL(Phoenix) 高并发实时读写,TPS可达百万量级,并发十万量级,毫秒级简单查询。
- Spark优秀的计算能力。同样作业Spark基于列式存储Parquet的分析在数据量大的情况下比Greenplum集群有10倍的性能提升。支撑了广告转化率、激活率,安装用户成本,数据驱动精细化运营等业务计算需求。
- 一站式解决方案。Spark服务原生支持通过SQL读取HBaseSQL(Phoenix)数据能力,具备列裁剪、谓词下推、分区裁剪等优化;高效地把HBase SQL在线库的数据ETL后归档到Spark数据仓库。
- 聚焦业务。全托管的Spark服务保证了作业运行的稳定性,释放运维人力,同时数据工作台降低了Spark作业管理成本。
相关产品
- 云数据库 HBase 版
面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。
更多关于云数据库 HBase 版的介绍,参见云数据库 HBase 版产品详情页。
【云栖号在线课堂】每天都有产品技术专家分享!
在线课堂地址:https://yqh.aliyun.com/zhibo立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【云栖号案例 | 游戏&娱乐】PolarDB助力心动网络为千万级用户在线手游保驾护航
云栖号案例库:【点击查看更多上云案例】不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 公司介绍 心动网络,国内极具知名度的游戏公司,中国互联网百强企业。旗下业务涉及游戏研发运营、动画制作、偶像娱乐等多个产业。公司创立于2002年,前身为中国最早的互联网分享网站之一的VeryCD。2009年起,公司开始打造心动网络的自主品牌,致力于网页及移动客户端游戏的研发与运营。 业务痛点 为支持游戏业务快速出海,游戏发行和TAPTAP游戏社区全球化运营与交付,需要支撑全球化业务的统一部署。特别是东南亚人口密度较大的地区需要提供低延迟、高稳定的云服务。 客户服务于国内、东南亚和欧美等地人口大国时,在活动峰值时需要支撑100万级玩家同时在线的高并发压力。 游戏运维发布、游戏服务端软/硬件故障导致服务端重启,需要数据库支撑更快的数据读取能力,以实现业务的快速恢复。 解决方案 心动网络采用PolarDB分布式云原生数据库方案构建了全部业务系统: PolarDB支持处理海量大数据,同时具备高并发、高可用和很强的弹性伸缩能力。 PolarDB特有的高性能读能力,有效支撑游戏...
- 下一篇
方案 | 阿里云为地产行业提供抗“疫”解决方案
文/infoQ 薛梁 近期,受新型冠状病毒感染的肺炎疫情的影响,地产行业受到较大影响,阿里云针对这一情况,计划推出各项技术措施,帮助地产 / 社区应对疫情后的消费反弹,完善地产的社区 / 物业等地产服务,开放的服务包括社区园区疫情防控、在线售楼、远程办公。 其中在社区园区疫情防疫上,阿里云结合支付宝、钉钉、视频 AI 的能力,可以帮助社区园区以最低的成本应对疫情,为以后的社区安全管理升级提供基础;而在线售楼的服务上,提供 24 小时在线看房平台,利用阿里生态流量引流,实现在线全景展示和交易闭环;同时在远程办公上,钉钉为企业提供沟通在线、组织在线、健康在线、协同在线的领先工具。 在疫情之下,地产行业受到了哪些冲击,以及疫情恢复之后地产行业的技术发展会有怎样的变化?阿里云在这次黑天鹅事件中做了哪些事情?发挥了什么价值?我们联系到了阿里云智能房地产行业解决方案总经理张天劼,以下是和他的沟通内容整理。 张天劼告诉我们,整个地产行业在疫情之前就已经发生了很大的变化,无论是大的市场结构,从增量市场变成了存量市场,销售端的渠道的问题凸显,整个地产行业数字化、智能化的发展一定是大势所趋,疫情可能会加速...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题