一分钟了解阿里云产品:墨迹天气之阿里云MaxCompute实践
墨迹天气成立到现在5年多,已经积累了4亿用户。同时,在墨迹天气上,每天有超过 5 亿次的天气查询需求。墨迹天气已经集成了多语言版本,可根据手机系统语言自动适配,用户覆盖包括中国大陆、港澳台,日韩及东南亚、欧美等全球各地用户。运营团队每天最关心的是这些用户正在如何使用墨迹,在他们操作中透露了哪些个性化需求。 这些数据全部存储在墨迹的API日志中,墨迹天气的API每天产生的日志量大约在400GB左右,分析工具采用了阿里云的大数据计算服务MaxCompute。 使用MaxCompute流程如下: 1.在每个日志服务器上都安装了Fluentd及MaxCompute数据导入插件。日志数据通过流通道DataHub实时导入到MaxCompute。 2.数据分析作业分小时级和天级任务。数据开发工程师通过MaxCompute Python SDK向ODPS提交SQL 分析脚本,将统计后的数据导入Mongo DB。报表系统直接对接Mongo DB。 3.运营人员通过报表系统来查看用户统计结果。 整个数据分析过程也做了很多优化。以下是几点说明: 1. Fluentd是一款优秀的日志导入软件。...