数百亿级用户行为数据，美团如何实现秒级转化分析？-低调大师

数百亿级用户行为数据，美团如何实现秒级转化分析？

2018-08-29 723

导读

用户行为分析是数据分析中非常重要的一项内容，在统计活跃用户，分析留存和转化率，改进产品体验、推动用户增长等领域有重要作用。美团点评每天收集的用户行为日志达到数百亿条，如何在海量数据集上实现对用户行为的快速灵活分析，成为一个巨大的挑战。为此，我们提出并实现了一套面向海量数据的用户行为分析解决方案，将单次分析的耗时从小时级降低到秒级，极大的改善了分析体验，提升了分析人员的工作效率。

本文以有序漏斗的需求为例，详细介绍了问题分析和思路设计，以及工程实现和优化的全过程。本文根据2017年12月ArchSummit北京站演讲整理而成，略有删改。

问题分析

下图描述了转化率分析中一个常见场景，对访问路径“首页-搜索-菜品-下单-支付”做分析，统计按照顺序访问每层节点的用户数，得到访问过程的转化率。

统计上有一些维度约束，比如日期，时间窗口（整个访

微信关注我们

原文链接：https://yq.aliyun.com/articles/630756

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

这些优秀的 Spring Cloud 开源软件，你知道几个？

Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。为整理了一些非常优秀的 Spring Cloud 开源软件，希望对大家有所帮助 1、awesome-spring-cloud Spring Clou d 大全，专门收集Spring Cood的学习资源，主要包括：博客、开源、网站等几大主题，每个主题都附带导航链接。项目地址： https://github.com/ityouknow/awesome-spring-cloud 2、springcloud-thoth spring cloud 脚手架，上手即用，集成swagger，对外rest接口，集成主流互联网saas架构，是一个典型的由springcloud管理的微服务项目，主要包括如下模块：项目地址： https://github.com/SpringForAll/springcloud-thoth 3、isona 基于Spring...

2018-08-29

630

timg.jpg 前言在我们平时使用爬虫程序采集数据时，往往会遇到，因采集速度过快导致的自己网络ip被目标网站封禁，这种封禁有时候是封几分钟，有时候是封一天，封的时间不等，但是这样会导致我们局域网内其他人也无法访问目标网站，最大的问题是我们无法进行数据采集。为了保证正常采集数据且本地ip不被封禁，引入代理ip。代理ip 代理ip有很多种类型，这里我们爬虫程序一般使用的是http或https的代理ip。爬虫使用的话最好用高匿代理高匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理。 requests库使用代理ip # 准备好的代理ip proxy = "127.0.0.1:8000" proxies = { "https": "https://{0}".format(proxy), "http": "http://{0}".format(proxy), } res = requests.get(url, proxies=proxies) 以上代码片段是最简单的requests库实现代理ip执行g...

2018-08-29

606

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。