Python机器学习小技巧：GroupBy 和 Shift实现 Pandas分组错位-低调大师

Python机器学习小技巧：GroupBy 和 Shift实现 Pandas分组错位

2020-04-14 801

使用Pandas进行数据操作的时候，有时需要分组将数据错位进行操作。

在数据分析中经常遇到需要分组使用a列的第n行数据与去b列的第n+1行数据进行对比或者计算的要求，下面是我使用pandas解决该问题的方法。首先要说的试这个问题可以通过操作Index来实现。不过Pandas针对这种情况已经提供了一种方法了，就是shift函数，用起来更加方便。shift函数定义如下：

pandas.DataFrame.shift

DataFrame.shift(self,periods=1,freq=None,axis=0,fill_value=None)[source]

Shift index by desired number of periods with an optional time freq.

When freq is not passed, shift the index without realigning the data. If freq is passed (in this case, the index must be date or datetime, or it will raise a NotImplementedError), the index will be increased using the periods and the freq.

比如我们要分析一个汽车的形式记录，需要对比每个位置的前一个点和后一个点的情况，如下代码即可：

df1['x_pre']=df1.groupby('CARID')['x'].shift(1)

df1['x_next']=df1.groupby('CARID')['x'].shift(-1)

df1['y_pre']=df1.groupby('CARID')['y'].shift(1)

df1['y_next']=df1.groupby('CARID')['y'].shift(-1)

微信关注我们

原文链接：https://yq.aliyun.com/articles/755226

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Java 数据持久化系列之 HikariCP (一)

在上一篇《Java 数据持久化系列之池化技术》中，我们了解了池化技术，并使用 Apache-common-Pool2 实现了一个简单连接池，实验对比了它和 HikariCP、Druid 等数据库连接池的性能数据。在性能方面，HikariCP遥遥领先，而且它还是 Spring Boot 2.0 默认的数据库连接池。下面我们就来了解一下这款明星级开源数据库连接池的实现。本文的主要内容包括： HikariCP 简介，介绍它的特性和现况。 HikariCP 的配置项详解，分析部分配置的影响。 HikariCP 为什么这么快，介绍其优化点。这里啰嗦两句，由于本系列会涉及很多开源项目，比如说 HikariCP、Druid、Mybatis等，所以简单聊一下我对学习开源项目的认识，这也是我自己行文或者组织系列文章顺序的思路，后续有时间再详细总结一下。安装并检查提供的所有工具，比如 Redis 目录下的 redis-check-aof 等工具的作用，这些工具都是官方特意提供的，一般都是日常经常要使用的，了解其功能。运行，学习所有配置项的功能，原理和优缺点，比如 Redis 的内存溢出控制策略 m...

2020-04-14

656

机器学习的过程中很多时候需要用到类似透视表的功能。Pandas提供了pivot和pivot_table实现透视表功能。相对比而言，pivot_table更加强大，在实现透视表的时候可以进行聚类等操作。 pivot_table帮助地址： https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.pivot_table.html 官方给的几个例子： df = pd.DataFrame({"A": ["foo", "foo", "foo", "foo", "foo", ... "bar", "bar", "bar", "bar"], ... "B": ["one", "one", "one", "two", "two", ... "one", "one", "two", "two"], ... "C": ["small", "large", "large", "small", ... "small", "large", "small", "small", ... "large"], ... "D": [1, 2, 2,...

2020-04-15

664

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。