关于作者：程序猿石头(ID: tangleithu)，现任阿里巴巴技术专家，清华学渣，前大疆后端 Leader。公众号后台回复关键字 “
1024
” 获取程序员
大厂面试指南
。
图by: 石头
前奏 上周末团建了，没来得及肝文。跟同事们一起自驾去了秦皇岛阿那亚，吃吃烧烤，玩玩德扑，吹吹海风，很是惬意~
还学了一款新桌游 —— 阿瓦隆，很有意思，不知道你玩过没？” ，还能让“队友”，甚至让拥有 “上帝视角” 的“法官” 也懵逼到“怀疑人生” 。
另外，本部门最近急招 P6/P7技术岗，热烈欢迎感兴趣的同学联系我啊，下次团建咱们一起去
分享几张本人拍 的图 片给大 家（技术挫 了点，大家将就看看 ）。
正文开始 在前面的这篇文章中 —— 优秀的程序员是如何利用工具来提升工作效率的？ ，石头介绍了可以提高程序猿工作效率的一些软件和工具及相关配置。文中提到了， 程序猿应该了解一些常见的命令行工具来提高效率。
本文是一个命令行工具的综合应用，将用一个具体的例子来阐述如何用 Shell 来进行高效地数据统计和分析。最近北京又开始了新一批积分落户的填报工作，恰好这篇文章用 shell 来对首批北京积分落户同学进行 "大数据"分析。
现如今到处都是各种"大数据"，本文分析对象也就是首批积分落户的6000多条数据而已，显然不能算什么大数据。
印象中，我记得当初该官网的这6000多条数据也是一次性就能wget下来的(后端估计没做限制，可能稍微调整下接口的分页参数之类不需要严格按照各种分页多次下载)。（注：本文旧文重新整理发送。）
问题描述 输入是 json数据，格式化之后的 json 数据主题结构如下所示，rows为数组，数组中元素所代表的 object 即描述了获得北京户口的同学的各种属性： 例如分数、排名、身份证号(后四位打码了)、公司等等信息。 为了方便大家练习对数据进行试验，我将 文中的数据附在这里 （https://www.tanglei.name/resources/use-shell-to-analysis-the-first-people-of-getting-residence-of-beijing-by-score/jifenluohu.json.gz ） 。
"rows" : ["id" : 62981 ,"idCard" : "32092219721222****" ,"idCardSHA" : "9ef70bde894959a4e4a1d1b2b9592b470294f9e4012a8cf480319665d1a7c1c6" ,"insertTime" : 1539518353000 ,"integralQualified" : 1 ,"internetAnnual" : {"annual" : 2018 ,"id" : 43 ,"insertTime" : 1539518353000 ,"publicityEnd" : 1540224000000 ,"publicityStart" : 1539591600000 ,"publishResultEndDate" : 1541679300000 ,"publishResultStartDate" : 1539591600000 ,"publishResultStatus" : 1 ,"score" : 90.75 ,"status" : 1 "md5Code" : "54e9ff7ce0b004f7141b157f8afc66db" ,"name" : "杨效丰" ,"pxid" : 1 ,"ranking" : 1 ,"s1" : 51 ,"s10" : 0 ,"s2" : 12.59 ,"s3" : 15 ,"s4" : 0 ,"s5" : 4 ,"s6" : 0 ,"s7" : 20 ,"s8" : 20 ,"s9" : 0 ,"score" : 122.59 ,"unit" : "北京利德华福电气技术有限公司" 拿到这个文件，比如希望你用最快 的方法获得以下信息，你将会怎么做？
当然，方法有很多，比如熟悉各种编程语言的，例如 python, php, java 等等写个简单的脚本程序，也能比较快获取答案。或者把相应的数据提取出来，放到 excel 中也可以。
如果你对 Shell 很熟悉，那真的是分分钟，应该是秒秒 钟就能获取答案。 就算用 Shell 来实现，不同的人可能也有不同的写法，后面我就列举其中的一种来解决这些问题。
本文不对 Shell 具体每个命令做过多的解释，不熟悉的同学可以直接 man $cmd 或者 $cmd --help 等等查看。
之前我也写过一篇名叫 Shell 助力开发效率提升 的文章，算是给常用的命令的常用参数做了一个解释和示例，有兴趣的同学可以前往查阅。
问题解答 获取取得户口名额最多的top10公司
看看想通过积分落户，最好是进哪些公司，哈哈。
先通过 grep 得到包含公司名字的一行，然后通过 ":" 分割 cut 取第2列得到公司名字，对结果进行sort排序进行去重uniq统计得到重复次数，次时结果为重复次数 公司名，再对第一列-k 1重复数字进行按照数字排序逆序-nr 即 sort -nr -k 1，最后取结果的前10行 head -n 10。
➜ 积分落户 > grep 'unit' jifenluohu.json| cut -f2 -d: | sort | uniq -c | sort -nr -k 1 | head -n 10"北京华为数字技术有限公司" "中央电视台" "北京首钢建设集团有限公司" "百度在线网络技术（北京）有限公司" "联想（北京）有限公司" "北京外企人力资源服务有限公司" "中国民生银行股份有限公司" "国际商业机器（中国）投资有限公司" "中国国际技术智力合作有限公司" "华为技术有限公司北京研究所" 获取取得户口名额的人中姓氏最多的
看看想通过积分落户，最好是姓啥，哈哈。
套路跟之前差不多的，我这边就不特别指出了。
下面shell实际上是取到这行后，将真正表示名字之前的所有字符都删除，就只剩下名字开头了，取行首第一个字符cut -c 1即得到姓，再按照之前的套路就能拿到了。
其实用什么sed替换冗余的字符都是多余的，因为json的格式都是良好的，可以直接通过 cut -c ? 取姓这个字符即可。
也不用挨个去数到底是第几个字符，直接 copy出来，然后 echo -n $paste | wc -c 就能数到第几个字符了。
看结果还是姓 "张, 王" 之类的最有戏。😁
# 或者 grep '"name":' jifenluohu.json| sed 's|"name": "||g' | sed 's|[[:space:]]||g' | cut -c 1 | sort | uniq -c | sort -nr -k 1 | head -n 10 '"name":' jifenluohu.json| sed 's|"name": "||g' | sed 's| ||g' | cut -c 1 | sort | uniq -c | sort -nr -k 1 | head -n 10获取户口名字中叫啥名最流行
套路差不多，不做过多解释了。
➜ 积分落户 > grep '"name":' jifenluohu.json| sed 's|"name": "||g' | sed 's|[[:space:]]||g' | cut -c 2-4 | sort | uniq -c | sort -nr -k 1 | head -n 10", ,", ,", ,", ,", ,# 取名字, 必须包含2个字 '"name":' jifenluohu.json| sed 's|"name": "||g' | sed 's|[[:space:]]||g' | cut -c 2-3 | sed '/"/d' | sort | uniq -c | sort -nr -k 1 | head -n 10作为码农，必须得养成对自己得到结果进行自测的习惯，所以如果对自己的结果不够自信，可以正向去计算一下最终的结果。
例如可以简单grep一下进行验证，叫 "海涛" 的是不是19个。
➜ 积分落户 > grep '海涛' jifenluohu.json | wc -l获取年龄分布
思路是截取身份证中号码中代表出生年的4位数，然后拿当前年份2019减出生年得到年龄，后面的套路又一样了。
bc 一个简单的计算器程序，了解下？
➜ shell-train > echo "3+2-5/5" | bcecho "3.141592*5-4" | bc#思路1: `cut -c 9-12` 获取出生年, 拼接表达式 `2019-出生年` 得到年龄. '"idCard":' jifenluohu.json| cut -f2 -d: | cut -c 9-12 | xargs -n1 echo 2019 -|bc | sort | uniq -cawk 是个好东西, 多练练.
# 拿到出生年后, 直接通过 awk 计算结果输出 '"idCard":' jifenluohu.json| cut -f2 -d: | cut -c 9-12 |awk '{print 2019-$1}' | sort | uniq -c获取取得户口的同学户籍地top10
有时候，我们在写Shell的时候，为了debug方便，可能会将一些中间结果缓存到文件中，后续以该文件为基础进行后续的计算。
比如先拿到top10的身份证中代表的户籍地的四位编码，这里需要借助另外的一个表示身份证户籍地的编码来进行对应。
借此机会解释下 join 这个命令。
# 身份证前4位为例, 拿到户籍地 '"idCard":' jifenluohu.json| cut -f2 -d: | cut -c 3-6 | sort | uniq -c | sort -nr -k 1 >topcity.code# 城市列表 # grep -E '^[0-9]{4},' city.csv | sed 's|,| |g' > city.code4 其实，join 就类似sql中的 ...inner join ...on ...， -t 分隔符，默认为空格或tab。
# 未排序, 所以没有将所有的导出(join需要排序) 一定需要将结果输出到文件，然后再进行吗？
其实也不一定。用管道的方式 | 可以将上一个命令的输出结果作为下一个命令的输入，可以通过 <(command) 的方式，将command 的输出作为一个文件输入。
# 需要排序 举个例子paste用来将两个文件按列合并在一起：
➜ shell-train > cat paste.f1以上用paste将两个文件合并在一起了，实际上通过 <(cmd)的方式，可以不借助外部文件也能做到。
方法如下：
➜ shell-train > paste <(echo "hello, i am \nworld, you are" ) <(echo "tanglei, wechat is: tangleithu\n?, hahaha" )其他的任务交给你了
这里就不重复多讲了，剩下的问题，要不你动手试试，比如看看生日最多的？
再试试获取 生肖/星座 最多的top10。
有任何疑问，欢迎留言交流参与交流讨论。
后记 觉得本号分享的文章有价值，记得添加星标哦。 周更很累，不要白 piao，需要来点正反馈，安排个 “一键三连”（点赞 、在看、 分享 ）如何？ 😝 这将是我持续输出优质文章的最强动力。
关于作者：程序猿石头(ID: tangleithu)，现任阿里巴巴技术专家，清华学渣，前大疆后端 Leader。用不同的视角分享高质量技术文章，以每篇文章都让人有收获为目的，欢迎关注，交流和指导！
公众号后台回复关键字 “
1024
” 获取程序员大厂面试指南。
期间自己还闹了个大乌龙，这让我明白了一个道理：类似这种需要 “隐藏自己真实身份”的推理游戏的秘诀就是彻底忘记自己的身份，不仅能骗过“敌人
