首页 文章 精选 留言 我的

精选列表

搜索[百万tokens],共7431篇文章
优秀的个人博客,低调大师

百万并发下的nginx优化之道!!!

@[TOC](文章目录) # 一、nginx地址重写 ### 1、nginx地址重写(rewrite)介绍 nginx地址重写的主要功能是实现URL地址的重定向。服务器获得一个来访的URL请求,然后改写成服务器可以处理的另一个URL 语法格式: rewrite 旧的地址(支持正则) 新的地址 标签(可忽略) ### 2、主文件配置方式与步骤 #### ① 基本配置转发 ```powershell [root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf //编辑主配置文件 server { listen 80; server_name web.com.cn; rewrite "/a.html$" /b.html; //地址重写配置 [root@localhost ~]# /usr/local/nginx/sbin/nginx -s reload //重启nginx服务 ``` #### ② 基本正则转发 ```powershell [root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf //编辑主配置文件 server { listen 80; server_name web.com.cn; rewrite ^/ http://www.baidu.com.cn; //地址重写配置^/指的是匹配/usr/local/nginx/html下的所有网页,访问任何网站的时候都会跳转到baidu.com.cn下 [root@localhost ~]# /usr/local/nginx/sbin/nginx -s reload //重启nginx服务 ``` #### ③ 高级正则地址重写 ```powershell [root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf //编辑主配置文件 server { listen 80; server_name web.com.cn; rewrite ^/(.*)$ http://www.baidu.com.cn/$1; //地址重写配置,使用正则,()代表保留,nginx使用$1代表第一个保留字串,$2则代表第二个保留字串 [root@localhost ~]# /usr/local/nginx/sbin/nginx -s reload //重启nginx服务 ``` # 二、LNMP动态网站 L:linux操作系统 N:Nginx网站服务软件 M:Mysql、MariaDB数据库 P:网站开发语言(PHP) ### 1、LNMP原理: nginx:单独部署,只能处理静态数据; 静态数据:指的是每次打开或者访问的时候,都是看到相同的内容,不会发生变化的 动态数据:每次运行,执行时都可以得到不同的结果 #### ① lnmp对静态数据的处理过程 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210707233722441.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2MDAxOTMz,size_16,color_FFFFFF,t_70)![在这里插入图片描述](https://img-blog.csdnimg.cn/20210707233801209.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2MDAxOTMz,size_16,color_FFFFFF,t_70) #### ② lnmp对动态数据的处理过程 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210707233629525.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2MDAxOTMz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210707233850347.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2MDAxOTMz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210707233858432.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2MDAxOTMz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210707233904469.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2MDAxOTMz,size_16,color_FFFFFF,t_70) ### 2、部署LNMP网站 #### ① 搭建nginx ```powershell [root@localhost ~]# yum -y install gcc pcre-devel openssl-devel //安装依赖包 [root@localhost ~]# tar -xf nginx-1.16.1 //解压编译包 [root@localhost ~]# cd nginx-1.16.1 [root@localhost nginx-1.16.1]# --prefix=/usr/local/nginx \ --with-http_ssl_module [root@localhost nginx-1.16.1]# make && make install //编译安装 ``` #### ② 安装MariaDB数据库 ```powershell [root@localhost ~]# yum -y install mariadb-server mariadb mariadb-devel ``` #### ③ 安装php解释器 ```powershell [root@localhost ~]# yum -y install php php-fpm php-mysql ``` #### ④ 启动所有服务 ```powershell [root@localhost ~]# /usr/local/nginx/sbin/nginx //启动nginx服务 [root@localhost ~]# systemctl start mariadb //开启mariadb服务 [root@localhost ~]# systemctl start php-fpm //开启php-fpm服务 [root@localhost ~]# systemctl enable mariadb //设置mariadb服务开机自启 [root@localhost ~]# systemctl enable php-fpm //设置php-fpm服务开机自启 ``` # 三、配置动静分离 ### 1、location语法 ```powershell localtion /test { deny 10.10.10.10; //拒绝10.10.10.10 } localtion /video { /*允许20.20.20.20,其它的禁用*/ allow 20.20.20.20; deny all; } localtion / { allow all; //允许所有 } ``` ### 2、修改配置文件,配置nginx动静分离 ```powershell [root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf // location 处理静态网页 localtion / { root html; index index.html index.htm; } location ~\.php$ { root html; fastcgi_pass 127.0.0.1:9000; //指定转发请求 fastcgi_index index.php; //php为默认页面 include fastcgi.conf; } [root@localhost ~]# /usr/local/nginx/sbin/nginx -s reload //重启服务 [root@localhost ~]# iptables -F // 清空防火墙策略 ```

优秀的个人博客,低调大师

微博python爬虫,每日百万级数据

新浪微博绝对是一个巨大的,实时的语料库!对微博数据爬取和分析,有重大的意义。 比如,现在要调查工商银行的服务态度,就可以抓取微博内容中包含工商银行的微博语料,然后做情感分析,就可以得到用户对银行服务的满意程度。 再比如,最近火热的明星鹿晗,可以抓取鹿晗的粉丝信息,分析这些粉丝处于什么年龄段,有什么标签,爱好,性别分布等等。这种对人群的分析,还可以同理应用到商业品牌上,用用户市场调研。 当然例子还有很多,那么,首先,要有微博数据! 所以,就产生了众多的微博爬虫项目。后来,新浪微博也开放了微博的API接口,但是官方的东西,限制还是很多的。 准备工作 User-Agent池 爬微博,这种大项目,必要充分的伪装是必须的,所以需要一个User-Agent池,每次,随机选择一个User-Agent。 我整理的在这里:User-Agent池 充足的微博账号 微博爬虫,必须登录以后,才能抓取。而一直使用一个账号,是很容易被封号的! 所以,需要多准备几个账号,每次随机选择一个账号登录,进行抓取。(实际是随机选择一个cookie)。 至于买微博账号的地方,某宝就有: 充足的IP代理 如果你想很快的进行抓取,延迟为0的话,IP很快就会被封,返回403 Forbidden。这时候就需要换代理,所以需要有一个IP代理池。 当然,经测试,每次访问延迟为0.5s,并发量为32,这个参数是不会被封的! 一个服务器其实,如果IP代理,是免费抓取来的,通常质量并不好,通过代理访问延迟会很大!所以,不如不用代理,加一个0.5秒的延迟,慢慢爬。 这时候,就需要一个勤劳的爬虫,24小时不间断的爬数据! 所以当然是需要部署在服务器上! 爬虫策略登录微博登录一直是一个很复杂的问题,不过,我们可以通过selenium来简化这个问题。 直接通过selenium编写浏览器的脚本,自动打开微博的手机站,点击登录,在输入框中填充账号,密码,再点击登录。最后返回cookie即可。 获取cookie以后,可以保存到数据库中。以后每次request请求,随机从数据库中选一个cookie加上,就免登录了。 抓取方案 首先选择一个(或多个)种子用户,作为最初抓取的对象。对于每个抓取对象,依次抓取个人信息,所有的微博,还有粉丝列表和关注列表。将对象的粉丝列表和关注列表中的用户,再加入到抓取对象中去。以此循环。这样就可以形成以种子用户为核心,逐层向外扩散的爬虫辐射。 理论上,只要一小批种子用户启动,就可以爬取全网的微博! 大V的过滤 事实上,有很多微博的信息是没有营养的,比如一些恶俗的营销号,或者一些明星的微博账号。所以,我们可以给抓取的对象,加一个比较正常的阈值,也就是一个普通用户的情况:微博数量<5000,粉丝<5000,关注<5000. Scrapy配置 MiddleWare:随机User-Agent和随机CookieMongodb:网络爬虫,数据项进场会出现不全,格式不统一的状况,所以采用Mongodb较为合适DOWNLOAD_DELAY = 0.5 下载间隔时间设置为0.5CONCURRENT_REQUESTS = 32 并发下载量为32LOG_FILE = weibo.log 采用日志文件记录日志 运行环境为:Python3 需要依赖包括:pymogo,scrapy 部署服务器,Run!服务器安装Mongodb,并开放外网访问权限 这样配置以后,在本地Pycharm中,配置远端数据库,就实现可视化操作与管理。 运行爬虫 克隆代码到服务器中,安装依赖,并执行 nohup python run.py 就已经开始不停的爬取微博了! 通过命令:tail -10 weibo.log 查看最新的日志。 在日志中,查看爬取速度: 可以看到一分钟,可以抓取848个item(数据项),这样一天下来: 8486024=1221120 可以抓取120万的微博数据!! 而且是在服务器上运行,可以源源不断的抓取! 同时在本地,通过Mongodb可视化工具,连接并查看数据库。 通过简单的count统计,抓取数量: 可以看到至此已经抓取1.8k用户信息,2.7w微博语料,8.2w分析关系信息。 原文发布时间为:2018-07-08本文来自云栖社区合作伙伴“大数据挖掘DT机器学习”,了解相关信息可以关注“大数据挖掘DT机器学习”

优秀的个人博客,低调大师

赛门铁克:上百万 Android 应用都是恶意软件

互联网安全技术全球领导厂商赛门铁克在公布的《互联网安全威胁报告》中发出警告,所有Android应用中,有17%(约100万个)实际上是恶意软件伪装的。而在2013年报告中,这种内含病毒的应用约为70万个。 1/3 Android应用被赛门铁克称为“灰色软件”(Greyware或Grayware),这些移动软件主要是利用大量广告“轰炸”你。赛门铁克还发现首款移动加密勒索恶意软件,这种软件可加密你的数据,以其为“人质”向你勒索赎金。 好消息是,这些恶意软件都很容易预防,只要你从值得信赖的应用店下载应用即可,比如谷歌(微博)Play Store。赛门铁克没有透露在Play Store中发现多少种恶意软件,但是该公司安全响应中心主管凯文·哈利(Kevin Haley)承认,数量相当之低。 哈利说:“谷歌在预防恶意软件方面做得非常好。如果恶意软件出现在其Play Store中,谷歌会立即发现它,并将其清理出去。” 另一方面,如果你访问其他Android应用市场,并从应用开发商的网站下载应用,或通过电子邮件链接抑或是在Bit Torrent网站上下载它们,你的手机被感染的危险将会大增。 赛 门铁克2014年使用其Norton Mobile Insight软件梳理过200多家Android应用店,每天下载并分析5万多种应用或应用更新。哈利说,他们发现的大多数恶意软件都试图窃取个人数 据,比如手机号码、联系人列表等,然后在互联网黑市上出售。有些恶意软件可迫使你的手机向付费短信服务发送短信,自动增加每月话费。其他应用可能随机向你 发送广告,有些应用甚至能够将你的默认铃声改为广告。 Android恶意软件问题在美国之外更为严重,特别是用户无法访问Google Play的地区,他们必须依靠第三方应用市场。 如果你注意到不同寻常的短信账单或有没有订阅的广告不断弹出,这些都是你的手机已被恶意软件感染的迹象。最好的方法就是利用移动安全应用扫描和保护自己的手机。 至于苹果的iOS系统,赛门铁克2014年在其iTunes店中总共发现3种被感染应用,去年数量更是为零。哈利说:“Android VS iOS竞争的好处之一是它会给你更多自由,包括在哪里下载应用。但是这种自由需要付出代价。”文章转载自 开源中国社区 [http://www.oschina.net]

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册