阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN-低调大师

阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN

2017-06-26 682

看到很多用户经常会问如何对分组内进行排序。
官方文档：https://help.aliyun.com/document_detail/34994.html?spm=5176.doc27891.6.611.Q1bk3j
例如需求：

odps 里面能否做排名操作，比如一个表里面有用户ID 和金额两个字段，用金额大小排序的话，我如何计算用户的排名（金额最大的是第一名，以此类推）
计算每个金融产品的最大投资者，或者前几名

类似这一类的需求，我们总结为实现分组内的排序，取TopN，那么在hive中有两个个函数可以分开实现
first_value: 取分组内排序后，截止到当前行，第一个值，
row_number()：实现组内排序，并对组内行进行标记行号。
那在odps中没有first_value这个函数，但是同样可以实现top1的需求。下面用一

微信关注我们

原文链接：https://yq.aliyun.com/articles/111557

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute SQL-列转行和行转列

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。产品地址：https://www.aliyun.com/product/odps 今天通过两个示例来教大家如何实现列转行和行转列问题。 1. 假设我们在MaxCompute中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下： user_basic_info表 id name 1 a 2 b 3 c 4 d user_address表 name address a add1 a add2 b add3 c add4 d add5 我们可以看到同一个用户不止一个地址（这里是假设的），我们需要把数据变为

2017-06-27

1339

Introduction: In this article, we dive into a scenario that discusses a rapidly growing business with an application that provides users with e-commerce data statistics web services. The application adopts the common distributed Nginx + app architecture, and to overcome the performance issues and bugs, it's needed to set up monitoring for the application services to i

2017-06-28

570

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。