【云栖号案例 | 互联网 】万师傅使用云产品,上手简单、开箱即用、省去运维烦恼
云栖号案例库:【点击查看更多上云案例】不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 整体架构 每当我在思考技术选型方案的时候,翻翻阿里云的官网,总能找到我想要的东西。于是,我们的大数据体系就变成了这样,如图: 离线 2.1 选型原则 团队成员,大都是Hive方向或是算法方向出身。为追求上手简单、专注数据的分析和挖掘、减少不必要的学习成本和费用成本,使用了阿里云MaxCompute。 2.2 数据采集 数据源共包含三类: (1)关系型数据库中的数据;(2)服务器上的日志文件;(3)前端埋点日志; 采集方式如图: 关系型数据库中的数据,使用dataworks中的“数据集成”功能,定时离线同步到MaxCompute中;其他两类数据,以及关系型数据库的Binlog,直接使用了万能的“日志服务SLS”。WebTracking支持直接收集HTML、H5、iOS和 Android的日志;Logtail支持收集服务器上的日志文件,以及关系型数据库的Binlog。数据都收集过来之后,再定时将数据投递到MaxCompute中;如上两个步骤,完成了三类数据的收集。比业...


