以斗鱼为例,揭秘企业大数据上云的挑战与变化
阿里妹导读:
今天的文章来自斗鱼大数据高级专家张龙,本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和挑战,包括数据安全、数据同步以及任务迁移。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。
斗鱼大数据架构发展历程
在2014年中期,斗鱼就开始使用大数据,最开始使用的是简单的HBase和Hadoop。在2015年,开始使用CDH运维大数据集群,主要针对可视化运维。在2017年的下半年,斗鱼开始接触阿里云大数据的一些产品,并且与其他产品做了对比。最终选择了阿里云的MaxCompute。
Apache Hadoop阶段
由于业务场景比较简单,组件较少,并且使用的人也少,但可以灵活的操作,同时集群规模较小,运维要求低,可以自由的利用开源,培养了许多人才。但在发展过程中也遇到了一些阻碍,例如:组件增多,运维成本高,业务增长快,集群扩容操作繁琐,人员增加,数据安全要求高,物理机操作,环境安全难保障。
Cloudera CDH阶段
斗鱼为何选择Cloudera CDH?原因主要有:首先,它能满足业务发展需要,多组件运维成本低,集群扩容操作简单,数据安全及环境安全有保障。其次,CDH在国内被广泛使用。最主要的一点是斗鱼的团队内部有CDH人才。
Cloudera CDH给斗鱼带来了许多便利,包括支持丰富的组件,不用考虑兼容性,可以通过CM统一管理,进行Web化管理,同时支持中文。另外,支持安全管理,以及对Kerberos安全认证。
自建集群遇到了发展瓶颈,涉及到资源效率问题和资源成本问题。资源效率问题包括资源预算审批慢、机器采购周期长以及机房部署效率低。资源成本问题包括机器资源成本高、机房成本高还不稳定以及闲时资源空置较多。
大数据上云的挑战
上云面临的挑战主要是如何保证数据安全,因为数据是企业核心的资源,安全性是非常关键的。其次是如何保持数据同步,是因为云上云下存在着海量数据。最后,因为云下存在大量的历史业务,那该如何将业务安全迁移到云上也是一个问题。
如何保证数据安全?
对于数据丢失的问题,阿里使用原始数据进行备份,这是很关键的。对于核心数据泄露问题,几率是很小的,因为泄露数据之后所要承担的风险远大于打败竞争对手所提供的收益。对于云环境面向外网,如何保证安全访问的问题,可以增加账号访问IP白名单及审计,设置公司内部才可访问。
如何保持数据同步?
由于每天会产生PB级历史数据和TB级数据增量。如何快速准确同步数据问题,可以使用数据同步工具,主要是基于DataX的改造。同时提高网络专线能力,增加多根专线,自动地进行异常切换,与云上平台业务进行隔离。利用数据校验工具,校验数据同步任务以及数据量。
如何安全迁移业务?
业务的安全迁移需要做到三个要求:1.不能引起故障,保证迁移可行性验证。2.迁移成本不能太高,业务侧尽量少改动。3.能上云也要能下云,尽量保证云上云下操作一致性。
为了做到不引起故障,要做到三个需要:需要做业务场景测试,保证业务场景全部覆盖到,并且能够识别能够迁移的业务场景。需要数据质量检验,确保相同业务云上云下产出数据的一致性。需要数据效率验证,确保云上任务数据产出时间,同时不影响业务。
如何保证较低的迁移成本?
斗鱼在IDC中运行的任务主要分两部分,第一部分是Java任务,占比很小,特点是基于封装的HiveClient工具进行查询计算。第二部分是XML配置化任务,特点是基于自定义XML文件,支持HiveSQL统计后导入其他存储。针对这些任务的特点,斗鱼也做了相应的改造。针对封装OdpsClient,可以将HiveClient改成OdpsClient,并且改Hive URL为云环境。针对加模板改URL,可以引入MaxCompute参数模型,改Hive URL为云环境。
为了保证能上云也能下云,第一,需要数据能上能下,就是前面提到的数据同步中心。第二,需要完善的配套工具,云上云下环境尽量透明化使用。第三,多使用通用功能,通过SQL+UDF能覆盖大部分场景。
混合云模式带来的变化
混合云模式带来的变化主要针对资源效率低,难以跟上业务发展,以及资源成本高,企业财务压力大两方面。在资源效率方面,从自建集群到MaxCompute有一些变化,包括提前半年或一年提预算变成按量付费,采购耗时1到3个月变成资源可以无限使用,机房上架1周以上变为无机房概念。相比于IDC自建集群,MaxCompute每年大概节约1000w成本,保障集群零故障。同时也有一些附加的收益,包括阿里云的专业服务,当遇到技术问题时可以请教阿里的专家来帮助解决,以及计算资源可以量化,可以知道钱花在哪些业务了,以及与阿里专家交流,帮助解决业务难题。
在自建机房时,斗鱼也做了一些开发,下图所示为数据开发,包括基于Hue的查询计算和云上的DataStudio数据开发,然后将Hue的API和DataStudio的API集中起来形成斗鱼的大数据开放平台,作用是可以提供给数据部门的人使用,也可以提供给业务部门的分析人员使用。
此外,斗鱼也做了一些实践,称为多活数据中心,如下图所示。斗鱼通过确立自建机房的数据和阿里云数据在这两个数据中心的角色,保证可以在多活数据中心的状态下支撑更多的业务。
混合云带来的变化总结起来,资源成本和资源效率是最大的两个变化,还有可量化的成本、增值服务、额外的专业服务等,不仅可以给我们自己部门人员用,还可以给其他业务部门的人来用,并且他们对使用成本也是直接可见的。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
首届微软 Linux 会议 WSLConf 改为线上举行,面向所有人开放
根据Canonical发布的最新公告,原本计划在Microsoft HQ 举办的首届WSLConf将改为线上直播的形式,于 3 月 10 日至 11 日如期举行。WSLConf 是由微软主办的首个与 Linux 相关的会议,Canonical 是它的“特别赞助商”。 此次活动将会有来自开发人员、安全专家、Canonical 和 Microsoft 的团队以及其他社区成员的演讲。Canonical 表示,“这是直接与 WSL 工程团队建立联系的独家机会。” 去年首次公布大会的消息时,WSLConf 宣称“与会者将能够参加黑客马拉松和实践研讨会,还可以与其他 WSL 开发人员和爱好者一起喝酒”,目前线下的交流无法实现,不免令人感到遗憾。但好的一方面是,自会议转为线上以来,预先注册登记的参会者已增长一倍以上。Canonical对此表示欢迎,“很高兴能够面向全球观众免费开放我们的第一次 WSL 会议”。 本次 WSLConf 包含以下主题: 在 WSL 上使用 Kubernetes 进行构建、测试和部署 使用 WSL 加速物联网开发 来自 WSL 和 Windows Terminal 团队的最...
- 下一篇
03月06日云栖号头条:天猫精灵开通“AI助农”频道
云栖号:https://yqh.aliyun.com第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! 今日最新云头条快讯: 阿里巴巴旗下的人工智能语音助手天猫精灵宣布正式开通“AI助农”频道。据阿里方面介绍,江苏土鸡蛋、四川安岳柠檬等多个产地直供商品已经上线销售,用户只需要对天猫精灵说“助农商品”,就能购买滞销农货;据监测,目前疫情对电子行业及企业的影响并不明显,相关产品进口保持稳定增长势头。 一起来看最新的资讯: 天猫精灵开通“AI助农”频道 阿里巴巴旗下的人工智能语音助手天猫精灵宣布正式开通“AI助农”频道,目前“AI助农”频道已经上线销售江苏土鸡蛋、四川安岳柠檬、广西皇帝柑、丹东草莓、甘肃人参果等多个产地直供商品,用户只需要对天猫精灵说“助农商品”,就能通过语音购买,目前已累计卖出超30吨。而在上线销售了几款爱心助农产品后,天猫精灵也开始内测“爱心助农”计划的特卖专区,除了向受影响的农产品商户提供流量扶持外,还邀请商户亲口录制音频介绍自家产品,用机器算法精准匹配消费者的家庭需求。据天猫精灵产品经理于克锋介绍,“我们联动沟通了20...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6