首页 文章 精选 留言 我的

精选列表

搜索[明略科技],共10000篇文章
优秀的个人博客,低调大师

黑科技! 当会Python爬虫遇上会画图的FineBI……

我们平时在用Python爬取网页上的数据时,对爬取到到的数据做数据分析展现有很多种方式,比如可以通过echart图表接口、python提供的第三方库,甚至还可以用matlab工具来进行数据统计和图表可视化展现。 可无论是以上哪一种方式,都需要通过代码来调用Python爬好的数据来进行画图,图表样式属性设置等方面还是比较繁琐的。 同样的问题,有一次小编领导要求我做一份有关于南京房价的数据汇报,需要做到报表里面。数据是没有的,自然而然想到用Python爬,爬好后直接做数据图表粘贴到报表中。但后来发现方法太土,汇报时不好做动态的数据展现(影响小编炫技装逼)。于是乎就想办法,将爬取到的数据导入到报表或者BI系统里面,利用BI本身的一些分析功能,联动着其他数据做展现。于是就有了本篇“Python爬数据,FineBI画图”的文章。想学习可以加Python学习(q-u-n )-227-435-450 即可获取,内附:开发工具和安装包,以及系统学习路线图 关于FineBI 这是一个可视化的自助式BI工具,整个操作就是导数据/连数据库——处理数据(可视化ETL)选择图表——拖数据字段——可视化展现&美化,操作简单上手快。小编只是用了其可视化的一隅功能,多数情况下,这个工具都是拿来做可视化报表,对接企业大数据平台,做企业数据运营分析用。 原理介绍 废话不多说,直接贴出操作。 因为想看看南京房价数据,但是网站上的很多数据都是以HTM5的形式进行呈现的,所以考虑通过Python来进行网页数据抓取和入库,数据分析方面通过FineBI工具直接连接数据库,分析和可视化呈现。 整体的思路: 数据层方面先通过Python抓取到WEB端的网页数据,之后对爬取到数据进行解析再而存储到MYSQL数据入库; 最后应用层的数据处理、数据计算统计、图表可视化呈现等工作全都交由FineBI工具来做。 操作步骤 1.引入相关python库包 首先新建python工程,引入本次爬取网页数据和写入MySQL数据库所需要的requests、pymysql、bs4这三个包: 2.获取网页数据 然后如下图所示,通过编写Python代码获取到某一个房产网页的南京售房平台的网页信息: 3.HTML标签解析 接着再对DIV样式下的HTML数据包进行逐一解析,获取到想要的房源名称、地址、小区、户型、面积、总价、单价、区域等数据: 其中对应网页的标签样式可以通过浏览器的F12开发选项进行快速获取,如下图所示的定位房源信息截图,我们只需要右键浏览器在所需要获取标签样式名称的地方点击检查元素即可(房源名称的标签即位house-title的title元素)。 4.MySQL数据回写 解析好数据之后,再将解析好的数据写入到MySQL数据库中: 循环遍历该平台在南京最近七天的网页售房信息数据,页面17页,共计377条数据: 5.安装FineBI&&验证数据入库 通过FineBI官网下载并按照引导安装好软件: 直接通过FineBI提供的数据配置端的功能,添加SQL数据集(或者直接添加表也行),查看和验证刚刚爬取并且入库的数据是否已经真正成功入库到MySQL中了。 如下图所示,Python果然不辱使命,我要的该平台的七天南京的房价售房数据都已经成功写入到了我的MySQL数据库中了。 6.FineBI可视化制作&成果展示 然后思考需要分析展现哪些内容,比如“南京各小区房价分布”、“房型价格分析”、“各区域房价分析”.....通过FineBI制作图表展现。 下面这个动图展示了一个图表的制作,其他都类似的,可参考。不懂可参见FineBI官网的帮助文档。 GIF 花了十分钟,就将我想要看的南京售房信息(房源面积均价、套房总均价、小区房价四象限分布图、区域房价分析、房型价格分析)以可视化的形式呈现出来了。 最后就是本次成果展示啦,也晒出来跟大家分享下,如下所示: 1.目前南京房源均价为3.78万每平方米,总均价为401.38万,总体上还是比较高的。 2.建邺区房价最高,果然房价还是紧跟国家政策啊,建邺目前城区开发建设政府的扶持力度在南京都是走在前面的。鼓楼、玄武、秦淮分别排在二、三、四的位置,雨花台和江宁房价相对较低,综合市区位置来看,还是秦淮区性价比最高啊 。 3.房型方面,6室3厅的豪华大宅总均价接近一千万,比如紫檀雅居、碧水湾别墅、滨江奥城听雨苑这一类土豪小区,多集中在建邺和鼓楼区域;一室一厅的房子均价大概在150万的样子,比如托乐嘉单身公寓、经纬城市花园等小区,适合单身贵族或者情侣小夫妇居住,南京各个大区都有;比较主流的三室一厅房价在300万左右,比如乔虹苑小区、良辰美景家园、白云园,多集中在秦淮和鼓楼区域。 后记 Python完成对网页数据的抓取和解析存储之后,配合FineBI强大的数据可视化呈现能力则圆满地完成了本次对南京售房数据的统计和分析需求,绝对推荐!

优秀的个人博客,低调大师

云栖科技评论第52期:第五次计算革命

【卷首语】第五次计算革命 21世纪到来已近20年,计算也要与时俱进。 在人工智能领域,传统的通用计算已经被以GPU、FPGA、ASIC为代表的、为AI应用负载定制优化的新计算远远甩在身后,AI时代的计算已经被重新定义,相信在接下来的日子里,人们对于那些“在X年内超过人类”的AI新闻,估计会见怪不怪了。 在云计算领域,云计算、物联网、人工智能以及端计算的协同联动正在重新定义新的云计算,云计算不再只是“云端计算”,而是融合了多种计算需求和计算形态的全新云计算。受此促进,20年来实际上是“人联网”的互联网,也将升级为万物智联的“物联网”,最终实现物理世界数字化,这是传统计算时代不可想象的。 量子计算是属于21世纪的计算,预计会在5年内走出实验室,实现商业领域的初步应用,这将从根本上改革企业运营和技术运作的方式。能够见证量子计算的商用,是我们每个

优秀的个人博客,低调大师

骞云科技SmartCMP v3.5版本正式发布

SmartCMP混合云自动化管理平台3.5是以应用交付为核心的云管理平台。可以整合公有和私有异构云环境下的所有云资源和云原生应用,实现云服务的自助式交付和部署。 在3.5版本中,主要增加了以下功能: Ⅰ.全新向导式申请方式 1.根据需求灵活部署操作系统、应用组件 2.申请资源快速、便捷 Ⅱ.应用拓扑信息动态展现 蓝图部署与操作时动态展现拓扑信息与实时状态 Ⅲ.更全面的云平台支持,资源池统一管理 1.支持腾讯云、青云云平台,云平台支持更丰富 2.支持网络虚拟化ACI和F5管理 3.更好的支持OpenStack SDN组件,全新支持PowerVC 4.支持X86裸金属架构管理 5.支持主流容器平台 在3.5版本中,改进的内容: Ⅰ.更丰富的内置蓝图支持 1.支持虚拟化平台和容器混合编排的蓝图示例 2.支持软硬负载均衡的组件,支持一键扩容,动态伸缩 3.完善Oracle和WebLogic等应用的支 Ⅱ.更丰富的组件配置功能 1.在云主机节点配置中可以预先添加用户和逻辑卷 2.更合理的vSphere组件配置管理,包括增加监控与代理、策略配置标签页 3.云主机中展示存储空余空间和总空间 Ⅲ.更精细化的组织架构 1.细化业务组管理维度,支持多级业务组管理,以应对企业内部实际的组织架构 2.添加项目概念,更好的管理资源、部门、项目和人员 Ⅳ.增加了基础设施管理范围 1.添加与展现多平台物理主机信息 2.自动发现X86物理主机,形成资源池;动态安装操作系统及各种应用,按需交付物理机 此次SmartCMP 3.5版本的发布,满足了很多现有客户对快速部署的需求,也对接了更多的公有云平台,同时极大提升了产品的易用性。SmartCMP将持续完善升级,为用户提供灵活、高效的混合云管理整体解决方案。 本文作者:佚名 来源:51CTO

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册