首页 文章 精选 留言 我的

精选列表

搜索[VSCode扩展],共10000篇文章
优秀的个人博客,低调大师

PostgreSQL 11 preview - BRIN索引接口功能扩展(BLOOM FILTER、min max分段)

标签 PostgreSQL , brin索引 , bloom filter , min max 分段 背景 BRIN索引是PG的一种块索引接口,存储指定连续数据块内被索引字段的元数据。 https://www.postgresql.org/docs/devel/static/brin.html 目前BRIN存储的元数据包括被索引字段在每个指定连续数据块区间的MIN,MAX值。所以对于比较分散的数据实际上效果是很差的,对于数据分布比较有时序属性的(或者说线性相关性很好)的字段,效果特别赞。 《HTAP数据库 PostgreSQL 场景与性能测试之 24 - (OLTP) 物联网 - 时序数据并发写入(含时序索引BRIN)》 《PostgreSQL BRIN索引的pages_per_range选项优化与内核代码优化思考》 《万亿级电商广告 - bri

优秀的个人博客,低调大师

PostgreSQL 11 preview - pgbench 变量、函数扩展 - 暨pgbench 自定义 benchmark讲解

标签 PostgreSQL , pgbench , 压测 , 变量 , tpc-b , 自定义压测 背景 pgbench是PostgreSQL软件包中的一款benchmark软件,纯C编码,效率高,压测方便。 内置TPC-B benchmark测试,同时支持自定义benchmark。 详细文档见 https://www.postgresql.org/docs/10/static/pgbench.html pgbench 自定义benchmark脚本支持的语法 变量赋值的语法 压测需要生成输入变量,才能使得压测覆盖更广的数据范围。 1、pgbench 命令行输入变量 -D varname=value --define=varname=value Define a variable for use by a custom scri

优秀的个人博客,低调大师

服务器架构之性能扩展-第三章squid(4)

第三章Squid代理服务器 3.1 Squid代理简介 代理技术是让代理服务器直接访问外部网络,然后将结果传给内部网络,代理服务器主要工作在应用层。Nat技术也可以实现代理访问,它是通过路由功能完成源地址与目的地址的转换,完成访问,主要工作在数据链路层/网络层和传输层等底层。 Nat的优点:工作在底层,透明代理,限制较少。缺点:地址转换技术,源地址和目标地址暴露,容易造成内部网络被攻击。 Squid代理服务器:可以完全做到内部外部分离,可以保障内部安全。缺点:完成的服务功能比较少,并且服务需要支持设置代理ip和端口功能。 3.1.1 Squid代理可以实现的功能: 1、提供对HTTP和FTP协议的代理服务 2、缓存代理的内容,提高客户端访问网站的速度,并且能够节约出口网络流量 3、对客户端地址进行访问控制,限制允许访问squid服务器的客户机 4、对目标地址进行访问控制,限制客户端允许访问的网站 5、根据时间进行访问控制,限定客户端可以使用代理服务的时间 3.1.2缓存代理作用: 通过代理服务器访问外部网站,开启缓存池,缓存了部分的静态页面,如果下一个客户再来访问,代理服务器会去真是服务器核实页面是否更新了,然后决定是否更新缓存池,然后返回给客户。如果是全新页面,代理服务器会去真实服务器读取数据返回给客户。 3.2 Squid代理服务的种类 普通代理服务 即标准的,传统的代理服务;需要客户在浏览器中指定代理服务器的地址和端口,一般是为了实现员工访问外部网络的需要。 透明代理服务器 适用于企业的网关主机,客户端不需要指定服务器的地址和端口,通过iptables将客户的web请求交给代理服务器,减少了内部员工设置上的麻烦 反向代理服务 方向代理是实现外网访问内网的一种访问技术 3.3安装squid服务 Rpm –qa|grep squid //查看软件包是否安装 Yum install squid*//yum安装squid Vi /etc/squid/squid.conf //修改配置文件,我们需要先删除原配置文件,在新建一个配置文件,不会发生误删,因为配置文件默认有两份一个是squid.conf和squid.conf.default Service squid start //启动squid服务,它会在/var/spool/squid/目录下,自动生成目录,16个一级目录,每个一级目录256个二级目录。 可以看到3128端口 Squid –k reconfig //修改配置文件,不重启也可以动态加载 3.4 ACL访问控制原理 ACL(Access Control List),访问控制列表。是用来实现客户机的IP地址和请求的url/文件类型、访问时间、并发请求数进行限制的一种技术支持 它需要先定义然后指定限制类型,是拒绝还是允许。 格式:acl 列表名称列表类型列表内容 //定义列表 http_access allow或deny 列表名 //限制列表 例如:acl all src 0.0.0.0/0.0.0.0 http_access deny all 首先定义一个名叫all的acl语句,它的内容为所有类型的源地址,类型为拒绝。 常用的ACL列表类型 例如: acl lan src 192.1681.10.1/24 http_access deny lan //拒绝源地址为192.168.10.0这个子网的ip acl block_domaindstdomain .qq.com.kaixin001.com http_access deny block_domain//拒绝目标域名为qq等的访问 acl work_hour time MTWHF 08:30-17:30 http_access allow work_hour //允许访问的时间段,周一到周五时间段 acl realfile urlpath_regex –I \.rmvb$ \.rm$ http_access deny realfile //禁止这种文件类型的访问,-i忽略大小写 访问控制类型的匹配顺序 没有规则时:拒绝所有客户端的访问请求 有规则但找不到匹配项时:将采用与最后一条相反的权限 3.5 squid代理的实现 实验一:配置squid普通代理 内网客户机IP:192.168.10.2 Squid服务器IP:192.168.10.1内网ip,200.168.10.1外网ip Web服务器IP:200.168.10.2 1、配置网卡 内网用vm1,squid服务器需要拥有两块网卡,内网连载vm1,外网vm2上,web server服务器的连接vm2网卡。分别配置ip和掩码。 Ping测试://内网可到192.168.10.1,squid server可以通左右 2、修改squid配置文件 Vi /etc/squid/squid.conf 首先配置文件设定服务的端口和ip,visible_hostname设置出问题的联系地址,innet定义来自这个网段的ip都可以,all定义来自所有的ip,reply设置允许资源大小10MB,设置规则允许innet列表, all为禁止列表。 3、配置web server,启动web服务,定义主页内容 4.测试,当没有指定代理时无法访问到外部web server,通过浏览器右边的设置按钮-》internet选项-》局域网设置-》输入ip和端口,确定 再次访问外部web serve Squid会生成一些日志文件在/var/log/squid/目录下,其中Squid.out错误日志,store.log访问日志,cache.log缓存日志 Cat /varlog/httpd/access_log//查看日志,看到代理服务器的ip 实验二:配置squid透明代理 内网客户机IP:192.168.10.2 Squid服务器IP:192.168.10.1内网ip,200.168.10.1外网ip Web服务器IP:200.168.10.2 1、配置实验环境,ping通。这里内部的pc机需要制定网关192.168.10.1才行。 2、修改配置文件,Transparent是透明的意思,开启透明。 3、增加iptables规则。“iptables –t nat –APREROUTING –I eth0 –s 192.168.10.0、24 –p tcp –dport 80 –j REDIRECT –to 3128” Iptables规则解析:-t使用地址转换技术,-A prerouting是通过这条链,-i eth0进入的接口,-s来自的源,-p tcp协议,-dport目的端口,-j重定向 --to重定向到3128端口。 总的意思就是通过地址转换技术,通过prerouting通道,对于来自eth0的访客,源地址是192.168.10.0的子网的ip,访问目的端口是80的服务,我们重定向到3128端口,交给squid来代理。 4、测试。直接测试即可,不需要配置客户端。 实验三:配置squid反向代理 外部客户机 IP : 200.168.10.2 Squid 服务器 IP : 192.168.10.1 内网 ip , 200.168.10.1 外网 ip Web 服务器 IP : 192.168.10.2 1、配置网络环境,并可以ping通。这一次squid服务器外网使用vm1网卡,内网使用vm2网卡,web server使用vm2网卡。 2、修改squid配置文件。 因为我们squid代理服务器没开启80端口,我们先虚拟一个80端口,这样外部的访问才不会被拒 绝。它内部服务可以实现集群的功能。并且squid服务器对于外网应该都是allow。 3、测试,访问代理服务器200.168.10.1,自动定向到内部的服务器。 实验四:配置squid反向代理虚拟主机 外部客户机IP:200.168.10.2 Squid服务器IP:192.168.10.1内网ip,200.168.10.1外网ip Web服务器IP:192.168.10.2 虚拟主机,就是一个web server架设多个域名的网站,实现一机多用。 1、配置网络环境,可以ping通。 2、修改squid配置文件。 配置文件,我们分别制定两个目的,指定网站名之后,并且允许所有外部ip的访问。 3、配置虚拟主机 Vi /usr/local/apache/etc/httpd.conf修改配置文件,然后到各自的网站目录建立不同的主页文件。 4、修改pc机的hosts文件。 5、访问测试,即可达到不同的域名访问到不同的网站。 总结: 我们可以通过tree 00(目录名)来查看某个缓存池里的缓存情况,可以查看到都是静态内容。Squid功能不仅有代理还有集群功能,所以越来越受到欢迎。 本文转自zsaisai 51CTO博客,原文链接:http://blog.51cto.com/3402313/966551

优秀的个人博客,低调大师

Dell EMC着眼于开放网络扩展 大胆突破思科专有网络束缚

Dell EMC网络负责人Tom Burns正在让这家IT巨头和开放网络倡导者直指行业翘楚思科和HPE。 “客户们希望摆脱传统网络,他们希望做一些不一样的,而Dell EMC和VMware在这方面是具有远见的,”Burns说。 Burns在本周四发布了一篇博客文章,谈到了最近三年Dell EMC在网络方面所取得的进展,强调Dell EMC的开放模式与思科专有模式之间的主要区别。他提前预览了Dell EMC的一些市场举措,包括推出更多多速率100GbE和下一代开放网络交换平台,针对数据中心和校园环境。 Dell EMC还期待提高其产品的采用率,特别是在服务提供商数据中心内的采用率,以及“更多的客户和合作伙伴将OS10集成到他们的解决方案中,”他在博客文章中这样写道。 “任何战斗,任何竞争的RFP,通常思科都在那里,我们会看到HPE、Arista还有Juniper,最后我们会胜出,但是需要一个大胆的举措,一个摆脱传统的大胆举措。” Burns在博客中,为Dell EMC开放网络模式与“传统”模式之间划清了界限。传统网络要求有专有的架构、管理工具、操作系统和专门开发的应用专有集成电路(ASIC),Burns表示。相比之下,Dell EMC的开放网络解决方案运行的标准架构上,采用标准调度工具;可选配SDN/NVO控制器;任何网络操作系统,开放标准硬件和电路,Burns表示。 虽然Burns很高兴看到Dell EMC在网络市场中赢得关注,但是他认为未来将面对一场漫长而艰难的战斗。思科仍然在该市场占据超过60%的份额,Dell EMC在市场分析公司IDC和Gartner所做的该市场份额统计数据中几乎没有体现。此前Dell EMC和思科也曾经在网络领域合作而在服务器市场中相互竞争。 Sigmanet是一家位于加州安大略省的解决方案提供商,该公司销售副总裁Stephen Monteros表示,他最近看到Dell EMC的开放网络解决方案赢得了一些订单,但同时也指出,很多采购者仍然在“犹豫”,而且“到目前为止Dell的网络方案还没有达到被广泛采用的程度”。 “很难对比成本优势,”Monteros表示。“因为在很多情况下这就像是拿苹果和橘子做对比。” Burns说,目前Dell EMC网络解决方案“已经走过了试点和试验阶段,正在进入全面实施阶段”,客户类型包括Web级数据中心、云和SaaS初创公司、以及电信公司。 “我们在非常大型的企业客户那里赢得了非常好的胜利,具体的我不能透露,可以说的是完全的数据中心实施和完全不同的方法。” 为了成功配合Dell EMC开放网络产品组合,解决方案提供商们必须依赖特定的战略,Burns表示。Dell EMC开放网络解决方案“提供了一个价值主张而不会破坏传统网络提供商,”Burns解释说。“这是一个替代性的解决方案,会与HPE或者思科相竞争,是的,这两家厂商都没有提供我们所能提供的。” Dell EMC的开放网络项目开始于2014年,旨在促进网络交换硬件与软件的分离。Dell EMC发布了Open Network Install Environment with Cumulus Networks,随后加入了更多的合作伙伴,包括Big Switch Networks、IP Infusion和Pluribus Networks。大约一年前,Dell EMC推出了新的Operating System 10,可以将基础的网络操作系统与网络操作系统相分离,此外Dell EMC还与微软进行了合作。 去年底,Dell EMC发布了测试版的OS10 Enterprise Edition。 原文发布时间为: 2017年2月3日 本文作者:孙斌 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

【Spark Summit East 2017】将Apache Spark MLlib扩展至十亿级别的参数

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 本讲义出自Yanbo Liang在Spark Summit East 2017上的演讲,主要介绍了为了应对像广告点击率预测和神经网络这样的应用程序需要从大量的数据中获取数十亿参数的挑战而研发的MLlib自由向量L-BFGS,它能解决Spark SQL框架中训练集经常产生的数十亿参数问题,演讲中展示了通过自由向量L-BFGS进行逻辑回归来满足真实世界的数据集和需求,并分享了如何将这种方法用于其他的机器学习算法。

优秀的个人博客,低调大师

【Spark Summit East 2017】基于Spark的可扩展的层次聚类算法

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 本讲义出自Chen Jin在Spark Summit East 2017上的演讲,数据挖掘的第一步工作就是进行聚类,聚类的目标是减少数据冗余或者定义数据类型,层次聚类,是一种被广泛使用的集群技术,它可以通过提出潜在的组织结构从而提供更丰富的表现方式。面对并行算法的挑战性,在讲义中Chen Jin通过将其转化为最小生成树问题设计一个单键分层聚类的并行实现方法。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册