代理IP爬取,计算,发放自动化系统
这学期有一门课叫《物联网与云计算》,于是我就做了一个大作业,实现的是对代理IP的爬取,计算推荐,发放给用户等任务的的自动化系统。由于代码比较多,有兴趣的可以到博主的GitHub上下载。
源码https://github.com/guoruibiao/IoC
下面简单的列些贴图,聊表心意,有兴趣的不妨看看咯。
IoC
:heart: 物联网与云计算大作业,爬取代理IP并存储到数据库,再借助推荐算法,结合PHP实现系统性的代理IP发放系统。
Python端
- Python作为爬虫端来爬取代理IP的完善的数据;
- 再基于推荐算法(我自己瞎闹的,参考了ItemCF的思想)为用户计算出比较合适的IP段
- 定时为user表中的用户发送包含代理IP详细信息的邮件来通知用户。
MySQL端
数据库这里比较简单,也就几张实体表以及关系表。用来记录代理IP以及用户与分配等关系。
PHP端
PHP被誉为是“网站开发方向的最好的语言”,确实是有一定的道理的,在Web开发方面尤其独特的优势,这里采用PHP实现了用户登录以及注册的功能。
配合前端框架Bootstrap搭建了一个响应式的网站雏形,比较精简。来完成与用户的交互,以及简单的业务。
怎么使用?
- 数据端
也就是Python端。app->storage.py即为项目入口,对于config文件夹下的数据库配置文件,以及IP代理提取网址等做好配置后就可以了。
storage.py会自动的调用spider.py和util.py来完成具体的爬取和存储任务。很方便,当然也可以自己改动一下,完善它:heart:
- PHP端
这个就比较的简单了,按照PHP的工作原理进行整个文件夹的拷贝,粘贴即可工作。当然了,这里还是需要稍微的改动一点点的,做过开发的都知道了。那就是表单
action的那一小部分,比较简单,就不在过多叙述了。
- 数据库
一定要按照要求创建数据库以及表结构。我把文件放到了app/temp/ioc.sql路径下。有需要的不妨参考一下。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
IoT领域的故事、经历、技术实战
IoT,“Internet of things(IoT)”,物联网,顾名思义,物联网就是物物相连的互联网,是新一代信息技术的重要组成部分,也是“信息化”时代的重要发展阶段,其实就是“互联网”,高大上了有没有。 这里不单讲解IoT,其实也是作为过来人给大家的一些职业建议。 用一张图片作为讲解吧,简单的来说,就是主体是物,动作是联,核心是网。 这里以奥特曼超人命名,其实不为过,为什么,因为IoT就像小怪兽一样…… 好了,不瞎BB了,以上都是名词解释,那么老鸟一般感触比较深的应该是去年的创业潮了吧,O2O,C2C,B2C 全部一窝蜂的扎进去,实体行业倒了一大半,大街小巷都在讨论融资,天使,基金会等,然后离职潮来了,涨薪潮来了,融资潮也来了,常见的现象就是不管是咖啡店还是饭馆,只要一屁股坐下,大部分就是开始喋喋不休的讨论着资本主义或产品,似乎没有个IoT谈论的话题就脱离了行业,似乎更为了显得自己的特别,喝着几十块钱的咖啡,讨论着“产品”,然后回归日常生活,回到公司继续着忙碌不休的加班生活,不错,这很讽刺,当然,我也不例外,是这里面的一份子,创业潮来临之前,已经在一家公司里以技术入股的方式倒腾着...
- 下一篇
【云栖大会】万物互联,智能云端
2016杭州云栖大会在云栖小镇召开,本届大会以“飞天·进化”为主题,内容规模比去年翻倍,从原本2天的议程增加至4天,从10月13日持续到16日,超过400场主题演讲使开发者们对阿里云计算生态发展和应用趋势、前沿技术和产品有了更深刻的了解。 随着终端芯片、通信设施等技术的发展以及云计算技术出现带来的海量数据存储与处理能力,促使传统行业向智能物联转型,引起了行业的变革,提升了社会生产效率。阿里云物联网行业报告,云上物联生态建立,涉及家电、移动终端、机器人、无人机、工地等各个领域。 云栖大会第二日的物联网专场上,阿里云物联网业务总经理刘飞、绿城CTO陈宵、南京物联传感技术有限公司CEO朱俊岗、金立集团移动互联网中心副总经理龙志勇、天壤网络科技有限公司CEO薛贵荣、零度无人机副总经理周炯、硬蛋科技CMO刘宏蛟及盼达用车CEO创始人兼力帆控股副总裁高钰一同就“万物互联,智慧云端”进行了分享。 刘飞:阿里云物联网行业报告 阿里云物联网业务总经理刘飞介绍了物联网发展的现状和方向,讲解了阿里云在物联网领域所做的相关工作。 陈宵:房地产智能数字营销实践 绿城CTO陈宵与我们一同探讨了如何通过设备,环境,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7设置SWAP分区,小内存服务器的救世主