首页 文章 精选 留言 我的

精选列表

搜索[文档处理],共10000篇文章
优秀的个人博客,低调大师

手把手教你学Numpy,从此处理数据不再慌

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 俗话说得好,机器学习要想玩的溜,你可以不会写Python,但一定不能不会调库(大雾)。Numpy可以说是Python中最基础也是最重要的工具库了,要用Python做机器学习,玩转各种框架,Numpy是必须要会的。像是TensorFlow、pytorch这些知名框架都是基于Numpy进行计算的,可想而知它的重要性。 Numpy存在的必要性 网上关于Numpy的介绍非常多,但说来说去无非是一个Python中数值计算的非常重要的基础包,可以用来很方便地做一些矩阵和大数据的运算。 Numpy是做什么的我们很好理解,但是我们可能更加好奇它更深层次的意义究竟是什么?关于这个问题我们从浅到深不停地追问,可以得到许多不同的答案。 最浅层的回答很简单,Numpy很方便,计算速度快,可以很方便地进行矩阵运算。在Andrew的课程当中,他曾经演示过,同样的矩阵运算,如果我们通过Python中的循环实现速度会比调用Numpy慢上至少上百倍。这个差异显然是非常可怕的。 但为什么Numpy会更快呢? 我们追问下去,又会得到一个新的答案。因为Numpy包底层是通过C++实现的,显然C++运算比Python快得多,所以Numpy自然就更快了。难道Numpy就只是因为C++更快这么简单吗? 这个问题已经超越了Numpy本身,我们需要从Python的特性来回答了。Python是一门解释型语言,也就是说当我们执行Python的时候,其实是执行了一个Python的解释器。由Python的解释器来解释执行Python的每一行代码。 如果我们把解释器理解成虚拟机,把Python执行的代码理解成虚拟机当中的程序。如果我们虚拟机多开的话,是很难保证线程安全的。为了解决这个问题,Python设计了GIL机制,也就是全局解释器锁,它保证了同一时刻最多只有一个解释器线程在执行。 这个机制保证了线程安全,但是也限制了Python多线程的使用。Python的多线程本质上是伪多线程,因为解释器只有一个线程在跑。所以如果我们想要通过多线程并发来加速计算的话,这是不可能的。 而矩阵和向量的一些操作是可以通过多线程并发来加速计算的,而Python本身的特性导致了Python不能执行这样的操作。那么通过Python调用C++实现的计算库也就是唯一的选择了。实际上不仅是Numpy,几乎所有Python的计算库,都是通过Python调用其他语言实现的。Python本身只是最上层的调用方。 理解了这点除了对于Python可以有更加清晰的认识之外,也有助于之后学习TensorFlow等其他框架。 Numpy中的n维数组 Numpy之所以好用,是因为我们可以通过Numpy很方便地创建高维的数组和矩阵。 举个例子,比如在原生Python当中,当我们需要创建一个二维数组的时候,往往需要些很长的定义。比如我们想要一个10 * 10的数组: 但是在Numpy当中就会很方便,只需要一行。 第一行当中我们引入了numpy,为了编码方便,我们将它重新命名成了np。这个是业内惯用做法,几乎所有使用numpy的程序员都会这么重命名。 在numpy当中,存储高维数组的对象叫做ndarray,与之对应的是存储矩阵的mat。其实这两者区别不大,支持矩阵的运算,ndarray基本上也都支持。我们有这么一个印象即可,关于mat内容我们会在之后介绍。 我们创建除了ndarray之后,关于获取ndarray基本信息的api大概有下面四个。 第一个是通过.ndim查看ndarray的维度,也就是查看这是一个几维的数组: 第二个是通过.shape获取这个ndarray在各个维度的大小: 第三个是通过.dtype获取这个ndarray中元素的类型: 最后一个是tolist()方法,可以将一个ndarray转化成Python原生的list进行返回。 ndarray 那么我们怎么创建numpy中的ndarray呢? 大概也有几种办法,首先,既然numpy中的ndarray可以转换成Python原生的list,同样Python中原生的list也可以转换成numpy中的ndarray。 和转换变量类型的语法很像,我们通过np.array()转换即可。 除了通过Python中原生的list转换,我们还可以根据自己的需要创建新的ndarray。numpy创建array的方法有很多,我们先来介绍一下其中比较基础的几种。 创建出一个range np.arange可以生成一个序列,有些类似于Python中原生的range。不过它更加灵活,我们可以之传入一个整数,它会返回一个从0开始的序列: 我们也可以指定首尾元素和间隔,numpy会自动帮我们生成一个等差序列: 除此之外,numpy中还提供了ones和zeros两个api,可以生成全为0和全为1的元素。 我们还可以使用eye或者是identity生成一个N*N的单位矩阵: 除此之外,还有一个full的api可以指定shape和数值,用我们指定的数值填充出一个指定大小的数组来: 但是这个api我们用的不多,因为我们可以用ones生成一个全为1的数组,然后乘上一个我们想要的值,就等价于full。 另外,ones, zeros, full这几个api还有一个对应的like方法。所谓的like方法就是我们传入另外一个ndarray代替shape,numpy会根据这个ndarray的形状生成一个对应形状的新array。 我们来看个例子吧,首先我们生成一个顺序的序列: 然后我们通过zeros_like方法生成一个同样大小的全为0的矩阵: 它其实等价于: 其他几个like方法也大同小异,因为可替代性很强,所以我也用的不多。 numpy支持的类型 numpy支持的数据类型很多,除了常用的int和float之外,还支持复数类型的complex,某种程度上来说和golang支持的类型比较接近。 其中int类型一共分为int8,int32,int64和int128,其中每一种又分为带符号的和不带符号的。例如int8就是带符号的8位二进制表示的int,而uint8则是不带符号位的。浮点数没有无符号浮点数,一共分为float16,float32,float64和flaot128。 复数也有三种,分别是complex64,complex128和complex256。除此之外还有string_和object以及unicode_这三种类型。 我们可以通过调用astype方法更改ndarray中所有变量的类型: 除了人为转换之外,我们还可以在创建的时候通过dtype这个参数来表示我们想要创建的数据的类型,这样可以避免之后转换的麻烦。 结尾 这篇文章当中我们不仅介绍了Numpy的创建的方法,还聊了Python这门语言的一些特性。正是因为Python本身多线程的限制,导致它在需要高并发计算的场景下性能很差。才会需要通过Python去调用C++或者是其他语言的底层实现。这也是为什么Python经常被称为胶水语言的原因。 Numpy可以认为是Python进行机器学习的基础,当然除了Numpy之外,像是pandas、matplot以及scikit-learn等库也是必不可少的。我们会从Numpy开始,一点一点把这些常用的库都给大家分享一遍。 【云栖号在线课堂】每天都有产品技术专家分享!课程地址:https://yqh.aliyun.com/live 立即加入社群,与专家面对面,及时了解课程最新动态!【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK 原文发布时间:2020-05-13本文作者:承志本文来自:“掘金”,了解相关信息可以关注“掘金”

优秀的个人博客,低调大师

微软发布 PowerToys 0.12.0,带来批量处理工具和暗黑模式

微软发布了 PowerToys 0.12.0 版本。PowerToys 是微软开发者开发的免费实用工具集,可以用于高级用户调整和简化 Windows 操作,以提高效率。其最早出现在 Windows 95 中,但并不受微软官方支持,对其测试也不够彻底。到了 Windows XP 时代,所有进入 Windows 的应用都需要进行安全审查,于是 PowerToys 便消失了。 今年 5 月微软宣布以官方名义重启该项目,微软表示,此次重启对 PowerToys 的研发,将会提供一些提高效率的实用程序,并且可以通过 Windows 10 shell 使用,同时让用户可以自定义各个工作流。 PowerToys v0.12 不仅包括对现有实用程序的改进,还包括全新工具PowerRename。根据微软的介绍,PowerRename 用于批量重命名一堆文件。当然,该实用程序不仅提供基本的重命名功能,也可以用来添加编号、忽略文件夹、将一个单词替换为另一个单词等等。 微软表示,另一项重大改进是窗口管理器 FancyZones,该窗口管理器旨在轻松地将窗口排列和对齐为工作流程的有效布局。 此外,微软还将在 PowerToys 中“酌情开始增加对暗黑模式的支持”。 完整更新列表如下: New Utility PowerRename General Microsoft 签名的二进制文件和安装程序 设置和快捷方式指南(ShortcutGuide)的暗黑模式 修复了导致无法在某些 Windows 配置上打开 PT 设置的错误 其他 UI/UX 错误的各种改进 FancyZone 编辑器现在支持多显示器 现在可以配置打开 FZ 编辑器的热键(Win+〜在某些非美国键盘上不可用) 修复了阻止激活带有自定义标题栏的应用程序区域的错误 FZ 编辑器现在可以在小屏幕上使用 拖动窗口时提高了区域激活能力,较小的区域优先于较大的区域 修复了 Windows 的某些本地化版本中 FZ 中的崩溃错误 修复了在区域边缘位于屏幕右侧或底部时无法调整区域大小的错误 修复了导致任务栏和其他特殊系统窗口被卡入区域的错误 改进了 FZ 历史记录的应用程序检测 更改 FZ 默认设置,以避免干扰全屏应用程序 更新说明:https://github.com/microsoft/PowerToys/releases/tag/v0.12.0

优秀的个人博客,低调大师

@JsonView 处理返回值,实现接口返回想要的字段

@JsonView 的使用 一、返回的结果直接使用实体类 代码如下 @RequestMapping("api/user") @RestController public class UserApi { /** * 如果直接返回UserAdminView ,不需要在ResponseModel 中设置以下内容 * @JsonView(value = View.Base.class ) * private T data; * @return */ @RequestMapping(value = "/listUser2",method = RequestMethod.POST) public UserAdminView listUser2(){ UserAdminView userAdminView = new UserAdminView(); return userAdminView; } } 实体设置如下: @Data public class UserAdminView { public interface UserSimpView{}; private Integer id; @JsonView(value = View.Base.class ) private String username; @JsonView(value = View.Base.class ) private String password; **@JsonView(value = View.Base.class )** private String note; @JsonView(value = View.Base.class ) private Map<String,String> map; @JsonView(value = View.Base.class ) private String [] ss; @JsonView(value = View.Base.class ) private int [] intDemo; @JsonView(value = View.Base.class ) private Integer b =null; @JsonView(value = View.Base.class ) private boolean bbbb ; @JsonView(value = View.Base.class ) private List<String> dd; } 实现控制 public class View { public interface Base{}; } 二、 使用自己的对象 代码如下 @RequestMapping("api/user") @RestController public class UserApi { /** * 自己设定了返回值的用这个 * @return */ @RequestMapping(value = "/listUser",method = RequestMethod.POST) public ResponseModel listUser(){ UserAdminView userAdminView = new UserAdminView(); return new ResponseModel(ResponseCode.OK,userAdminView); } } ResponseModel 设置 package com.json.demo.common; import com.fasterxml.jackson.annotation.JsonView; import java.io.Serializable; public class ResponseModel<T> implements Serializable { private static final long serialVersionUID = 1L; private int code; private String message; //重点是这里 **@JsonView(value = View.Base.class ) private T data;** public ResponseModel(int code, String message, T responseData) { this.code = code; this.message= message; this.data = responseData; } } 实体、view 和第一种一样。github源码地址 欢迎关注公众号,查看更多内容 :

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册