使用python的pandas读取数据库中数据，初始化到dataframe的速度过慢问题解决思路

2018-07-07 960

原生方法

100万数据，在oracle数据库中，使用最方便的pandas自带的read_sql方法

import pandas as pd
import sqlalchemy as sql
db_engine=sql.create_engine('oracle://test01:test01@test001db')
db_df1=pd.read_sql('select * from my_table1',db_engine)

代码是方便了，不过用了快10分钟，dataframe才初始化完成

通过JDBC查询的方式

import pandas as pd
import sqlalchemy as sql
db_engine=sql.create_engine('oracle://test01:test01@test001db')
conn=ora_engine.raw_connection()
cursor=conn.cursor()
queryset=cursor.execute('select * from my_table1')
columns=[for i[0] in queryset.description]
jdbc_data=queryset.fetchall()
db_df1=pd.DataFrame(jdbc_data,columns=["A1","B2","C3"])

db_df1.columns=columns
db_df1.append(df_data)

多几行代码，不过2分钟就完成了dataframe的初始化动作，看来pandas自身的方式是需要优化的，不应该官方的方式对比常规方式有好几倍的性能差异的。

微信关注我们

原文链接：https://yq.aliyun.com/articles/607391

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【C++初级】static用法总结、问题探讨及常见错误排查

static的基本用法: static的作用主要有两种第一个作用是限定作用域；第二个作用是保持变量内容持久化；一、c语言中static的用法： 1、全局静态变量：用法：在全局变量前加上关键字static，全局变量就定义成一个全局静态变量。 static int temp；内存中的位置：静态存储区生命周期：在整个程序运行期间一直存在。初始化：未经初始化的全局静态变量会被自动初始化为0（自动对象的值是任意的，除非他被显式初始化）；作用域：全局静态变量在声明他的文件之外是不可见的，准确地说是从定义之处开始，到文件结尾。 2、局部静态变量：在局部变量之前加上关键字static，局部变量就成为一个局部静态变量。内存中的位置：静态存储区生命周期：在整个程序运行期间一直存在初始化：未经初始化的全局静态变量会被自动初始化为0（自动对象的值是任意的，除非他被显式初始化）；作用域：作用域仍为局部作用域，当定义它的函数或者语句块结束的时候，作用域结束。但是当局部静态变量离开作用域后，并没有销毁，而是仍然驻留在内存当中，只不过我们不能再对它进行访问，直到该函数再次被调用，并且值不变； 3...

2018-07-08

666

1.列表元组列表是我们最以后最常用的数据类型之一，通过列表可以对数据实现最方便的存储、修改等操作. 定义列表: 1 # yu 2 3 names=["啦啦","嘿嘿",'鱼鱼'] 我们通过列表下标进行数据的提取: 1 # yu 2 names=["啦啦","嘿嘿",'鱼鱼'] 3 print(names) 4 print(names[0])#第一个数据从0开始 5 print(names[-1])#倒过来取值切片: 1 # yu 2 names=["lala","heihei",'yuyu','hehe','haha'] 3 print(names[1:3])#取下标1 ,不包含下标3 ['heihei', 'yuyu'] 4 print(names[1:-1])#取下标1至-1的值，不包括-1 5 print(names[:3])#如果是从头开始取，0可以忽略 6 print(names[3:])#取到最后一个值 7 print(names[3:-1])#取不到最后一个值 8 print(names[0::2])#后面的2是代表，每隔一个元素，就取一个 View Code 追加:...

2018-07-08

532

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

使用python的pandas读取数据库中数据，初始化到dataframe的速度过慢问题解决思路

原生方法

通过JDBC查询的方式

【C++初级】static用法总结、问题探讨及常见错误排查

python基础2

相关文章

发表评论

资源下载

优质分享App

Mario

Spring

Rocky Linux

欢迎您来访！