GayHub用户及仓库分析爬虫-低调大师

GayHub用户及仓库分析爬虫

2018-03-13 833 89

爬虫介绍
Github 是一个很棒的社区，这里可以找到很多优秀的项目，很多实用的库类，简直是 coder 的天堂，同时也是全球最大的同性交友社区？爬取的数据主要分为两大类， User 类和 Repo 类，也就是针对用户情况和仓库信息

User 类
先来看看 Github 全站 followers 人数 top10 都是哪些大犇

Linus 大神以压倒性的优势夺得第一名，说实在不知道 Linus 的真不好意思说自己是写代码的，这是信仰。然而大神还是很傲娇的，毕竟没有 following anybody，可能是强到了没朋友了吧，毕竟 talk is cheap, show me the code。JakeWharton 以 34000+ 位于第二，以前也看过一点 Android 的东西，不知道说什么，膜拜吧。

中国区还是有两名种子选手

微信关注我们

原文链接：https://yq.aliyun.com/articles/537578

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2018-03-14 00:00:00

本周半价电子书

点击关注异步图书，置顶公众号每天与你分享 IT好书技术干货职场知识 Tips参与文末话题讨论，即有机会获得异步图书一本。《C程序设计新思维》 [美]Ben Klemens 克莱蒙著点击封面购买纸书本书汇集编写高效、实用的C程序所需的工具和技巧，倡导读者重新认识并重视C语言，以更好地使用C语言。书中继承了上一版中关于如何实用shell、makefiles、漂亮的文本编辑器、调试器、内存管理等工具和技术，并附加了关于并发编程、虚拟表等特性的介绍，更好地帮助C语言使用者进行拾遗补漏。另外，书中提供了链表结构和XML解析器的现成的库，便于读者使用，同时对如何编写易读代码和函数接口进行了讲解。《从跨界到专精 T型产品经理的自我修炼》简浅著点击封面购买纸书这并不是一本“10天教会你如何成为产品经理”的书，更多讲述的是产品经理职场中的真实经历，让你从旁观者的角度真正的了解产品经理这个岗位。入行产品经理本书将给你启蒙。《JavaScript高效图形编程（修订版）》【美】Raffaele Cecco著点击封面购买纸书本书讲解了如何使用JavaScript、jQue...

510

2018-03-14 00:00:00

进击的爬虫：用Python搭建匿名代理池

01 写在前面常听到很多人抱怨自己的IP因爬虫次数太多而被网站屏蔽，不得不频繁使用各种代理IP，却又因为网上的公开代理大部分都是不能使用，而又要花钱花精力去申请VIP代理，几番波折又遭屏蔽。特此写一篇如何利用Python搭建代理池的文章，以降低时间及精力成本，实现自动化获取活跃代理IP的功能。 02 运作原理一、网站代理获取 1. 爬免费代理网站的IP列表测试是否可用及是否是高匿 2. 若都是，则放进数据库，否则丢弃。 3. 重复第2步二、保证失效的代理能被尽快从代理池中挑出 1. 从爬虫数据库获取IP 2. 测试IP的可用性和匿名性 3. 如果可用且匿名，则保留，否则丢弃。 4. 重复第1步说明①：可建立一个爬虫程序守护程序（Daemon），有此方面需要的小伙伴可自行谷歌，在此不多做介绍。说明②：可建立一个对外代理信息接口，无论你用Nod

579

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。