GayHub用户及仓库分析爬虫-低调大师

GayHub用户及仓库分析爬虫

2018-03-13 843

爬虫介绍
Github 是一个很棒的社区，这里可以找到很多优秀的项目，很多实用的库类，简直是 coder 的天堂，同时也是全球最大的同性交友社区？爬取的数据主要分为两大类， User 类和 Repo 类，也就是针对用户情况和仓库信息

User 类
先来看看 Github 全站 followers 人数 top10 都是哪些大犇

Linus 大神以压倒性的优势夺得第一名，说实在不知道 Linus 的真不好意思说自己是写代码的，这是信仰。然而大神还是很傲娇的，毕竟没有 following anybody，可能是强到了没朋友了吧，毕竟 talk is cheap, show me the code。JakeWharton 以 34000+ 位于第二，以前也看过一点 Android 的东西，不知道说什么，膜拜吧。

中国区还是有两名种子选手

微信关注我们

原文链接：https://yq.aliyun.com/articles/537578

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

本周半价电子书

点击关注异步图书，置顶公众号每天与你分享 IT好书技术干货职场知识 Tips参与文末话题讨论，即有机会获得异步图书一本。《C程序设计新思维》 [美]Ben Klemens 克莱蒙著点击封面购买纸书本书汇集编写高效、实用的C程序所需的工具和技巧，倡导读者重新认识并重视C语言，以更好地使用C语言。书中继承了上一版中关于如何实用shell、makefiles、漂亮的文本编辑器、调试器、内存管理等工具和技术，并附加了关于并发编程、虚拟表等特性的介绍，更好地帮助C语言使用者进行拾遗补漏。另外，书中提供了链表结构和XML解析器的现成的库，便于读者使用，同时对如何编写易读代码和函数接口进行了讲解。《从跨界到专精 T型产品经理的自我修炼》简浅著点击封面购买纸书这并不是一本“10天教会你如何成为产品经理”的书，更多讲述的是产品经理职场中的真实经历，让你从旁观者的角度真正的了解产品经理这个岗位。入行产品经理本书将给你启蒙。《JavaScript高效图形编程（修订版）》【美】Raffaele Cecco著点击封面购买纸书本书讲解了如何使用JavaScript、jQue...

2018-03-14

523

01 写在前面常听到很多人抱怨自己的IP因爬虫次数太多而被网站屏蔽，不得不频繁使用各种代理IP，却又因为网上的公开代理大部分都是不能使用，而又要花钱花精力去申请VIP代理，几番波折又遭屏蔽。特此写一篇如何利用Python搭建代理池的文章，以降低时间及精力成本，实现自动化获取活跃代理IP的功能。 02 运作原理一、网站代理获取 1. 爬免费代理网站的IP列表测试是否可用及是否是高匿 2. 若都是，则放进数据库，否则丢弃。 3. 重复第2步二、保证失效的代理能被尽快从代理池中挑出 1. 从爬虫数据库获取IP 2. 测试IP的可用性和匿名性 3. 如果可用且匿名，则保留，否则丢弃。 4. 重复第1步说明①：可建立一个爬虫程序守护程序（Daemon），有此方面需要的小伙伴可自行谷歌，在此不多做介绍。说明②：可建立一个对外代理信息接口，无论你用Nod

2018-03-14

590

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。