爬取知乎60万用户信息之后的数据分析-低调大师

爬取知乎60万用户信息之后的数据分析

2017-07-31 570

使用 Java+Elasticsearch+Kibana 爬取了知乎 60 万用户数据，做了简单的可视化分析。

项目源码 GitHub – webporter

动机

在知乎上看到有个叫 @路人甲的大神每隔一段时间就爬爬豆瓣/B站等等网站，做了很多有意思的分析，加上之前因为实验室项目接触过 Nutch，浅尝辄止了，所以一直想好好玩玩爬虫。

网上 Python 的爬虫教程很多，而自己的主语言是 Java，本着宣传 Java，以练促学的目的，我使用 Java 爬取了知乎 60 万用户信息，主要想看看知乎上妹子多不多啊/是不是都是基佬啊，标配常青藤/年薪百万是不是真的啊，等等。

思路

为了保证数据的质量，避免爬到一些僵尸号什么的，我选择爬取关注列表而非粉丝列表。我随机挑选了一位粉丝过千的优秀回答者作为起始，爬取他的关注列表，再对列表中的每个人爬取其关注列表，以此类推……

下载了大概 7 个小时，爬了 40 多万用户的关注列表，拿到了 10G 的数据，如图所示：

理论上有 800 多万用户，可惜有很多重复的，去重后将数据导入 Elasticsearch，得到 60+ 万用户数据:

数据验证

接下来简单看看下载下来的数据靠不靠谱，随手在知乎和我的 Kibana 分别搜了下轮子哥 @vczh

可以看到，连同名的都搜出来是一样的，数据没啥问题。

关心的数据

然后使用 Elastichearch 的聚合查询配合 Kibana 对数据进行可视化展示，我主要分析了下面几个问题：

性别分布
粉丝最多的用户top10
员工最多的公司top10
校友最多的学校top10
人数最多的地方top10
top10行业分布
top10职业分布

图中涉及性别的， 1 表示男，0 表示女，-1 表示不男不女

性别分布

可以看到知乎男性人数过半了，比女性和未知性别加起来都多。

粉丝最多的用户top10

粉丝数前 10 的依次是 @张佳玮，@李开复，@黄继新，@周源，@yolfilm，@张亮，@张小北，@李淼，@葛巾，@采铜。最多的 120 万粉丝，第十也过 60 万了。不过前十里好几个都是知乎员工，有黑幕的嫌疑吧?

员工最多的公司top10

可以看到 BAT 全部上榜了(乱入了一个学生什么鬼?)，仅接着是网易,华为,谷歌,微软,美团。都是牛逼哄哄的互联网相关企业，看来国企和实体企业比较低调，不在知乎填公司信息啊。

另外华为的男女比简直不能看啊，妹子那么少，想去华为的单身狗们需要好好考虑一下了。

校友最多的学校top10

差强人意，校友人数排名前十的全特么是 985 啊，清北复交浙全部上榜，俨然中国大学排行榜。看来知乎标配不是常青藤，而是 985 嘛。另外可以看到，我科(倒数第三个)的男女比在这几个里面确实感人，难怪我现在还单身…

人数最多的地方top10

北京独领风骚，上海紧随其后。另外知乎居然把深圳和广州根据有没有“市”标记为了两个城市，简直坑爹，我也懒得二次处理了。综合来看，北上广深杭，主要集中在这五个城市，基本也是我国互联网企业分布最多的几个城市。

top10行业分布

可以看到，互联网和计算机软件两个加起来就占了半数以上，要是算上电子商务和电子游戏等基本是程序员的天下了，所以知乎上程序员偏多，IT 从业者占主流啊。

另外互联网的男女比大概 2:1 的样子吧，法律，信息传媒和创意艺术的男女比比较均衡，大概五五开。

top10职业分布

将近四分之一是产品经理，创始人和 CEO 也不少，比工程师还多，学生也占一定比例。另外除了运营和编辑的男女比差不多，其它都是男多女少啊。

结语

从这 60 万用户数据可以看出，知乎的主要群体是程序员和学生，平均学历 985 不是黑，是真的!虽然知乎用户远不止 60 万，这些数据分析出来的结果可能有些偏差，但应该也能说明一些问题吧。

最后按照国际惯例，附上源码，GitHub – webporter

本文作者：brianway

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/184356

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

不同Hadoop上的SQL数据库引擎如何适配BI工作

Hadoop上的SQL引擎Impala是一种新型查询系统基准，发现Spark和Hive在BI的工作负载中有自己的优势与弱势。根据最新的基准，三个主要的SQL-on-Hadoop引擎，Apache Impala 2.3, Apache Spark 1.6 和Apache Hive 1.2，都有各自独特的优势和劣势，这令他们能很好的适应一些BI用例，而不是其他智能。 “一个引擎是无法满足所有需求的”，Dave Mariani，大规模AtScale的CEO和创始人，AtScale是一个专门在hadoop上实现BI的创新企业。“我们已经完成了布置，对于我们的客户而言这是多个引擎的补充。” 关于在Hadoop基础上的商业智能，AtScale帮助技术评估者选择最好的SQL –on-Hadoop技术，以帮助他们完成BI用例。AtScale测试团队使用星型架构基准(SSB)数据集，基于广泛使用的TPC-H数据(TPC- H是事务处理性能委员会公布的一套针对数据库决策支持能力的测试基准)，将其进行修改使之更加精确的表现一个面向BI的数据布局。数据集允许数据团队测试大型表的查询：在线订购表含有接近6百...

2017-08-01

565

近日，英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL，其可以利用已有的 Spark 集群来运行深度学习计算，并且还能简化从 Hadoop 的大数据集的数据加载。开源地址>>> 据介绍，在 Xeon 服务器上的测试表明，BigDL 相比于 Caffe、Torch 或 TensorFlow 等开源框架实现了显著的速度提升。其速度可与主流的 GPU 相媲美，而且 BigDL 也能扩展到多达数十个 Xeon 服务器。 BigDL 库支持 Spark 1.5、1.6 和 2.0，并且允许将深度学习嵌入到已有的基于 Spark 的程序中。其中包含了将 Spark RDD(Resilient Distributed Datasets，弹性分布式数据集)转换成 BigDL 定义的 Dataset 的方法，并且也可以直接运用到 Spark ML Pipelines 上。为了进行模型训练，BigDL 应用了一个同步小批量随机梯度下降(synchronous mini-batch SGD)，该过程在跨多个执行器(executor)的单个 Spark ...

2017-08-01

521

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。